Recital 59
Habida cuenta de su función y responsabilidad, las actuaciones de las fuerzas y cuerpos de seguridad que implican determinados usos de los sistemas de IA se caracterizan por un importante grado de desequilibrio de poder y pueden dar lugar a la vigilancia, detención o privación de libertad de una persona física, así como a otras repercusiones negativas sobre los derechos fundamentales garantizados en la Carta. En particular, si el sistema de IA no se entrena con datos de alta calidad, no cumple los requisitos adecuados en cuanto a su rendimiento, su precisión o su solidez, o no se diseña y prueba adecuadamente antes de su comercialización o puesta en servicio de otro modo, puede señalar a personas de forma discriminatoria o de otro modo incorrecto o injusto. Además, el ejercicio de importantes derechos fundamentales procesales, como el derecho a la tutela judicial efectiva y a un juez imparcial, así como el derecho de defensa y la presunción de inocencia, podría verse obstaculizado, en particular, cuando tales sistemas de IA no sean suficientemente transparentes, explicables y documentados. Por consiguiente, procede clasificar como de alto riesgo, en la medida en que su uso esté permitido por el Derecho nacional y de la Unión pertinente, una serie de sistemas de IA destinados a ser utilizados en el contexto policial, en el que la exactitud, la fiabilidad y la transparencia son especialmente importantes para evitar repercusiones negativas, mantener la confianza pública y garantizar la rendición de cuentas y la reparación efectiva. Habida cuenta de la naturaleza de las actividades y de los riesgos conexos, estos sistemas de IA de alto riesgo deben incluir, en particular, los sistemas de IA destinados a ser utilizados por las autoridades policiales o judiciales, o en su nombre, o por las instituciones, órganos u organismos de la Unión en apoyo de las autoridades policiales, para evaluar el riesgo de que una persona física sea víctima de infracciones penales, como los polígrafos y herramientas similares, para la evaluación de la fiabilidad de las pruebas en el curso de la investigación o el enjuiciamiento de infracciones penales, y, en la medida en que no esté prohibido por el presente Reglamento, para evaluar el riesgo de que una persona física delinca o reincida no basándose únicamente en la elaboración de perfiles de personas físicas o en la evaluación de rasgos y características de la personalidad o del comportamiento delictivo anterior de personas físicas o grupos, para la elaboración de perfiles en el curso de la detección, investigación o enjuiciamiento de infracciones penales. Los sistemas de IA destinados específicamente a ser utilizados en procedimientos administrativos por las autoridades tributarias y aduaneras, así como por las unidades de inteligencia financiera que lleven a cabo tareas administrativas de análisis de la información con arreglo a la legislación de la Unión contra el blanqueo de capitales, no deben clasificarse como sistemas de IA de alto riesgo utilizados por las fuerzas y cuerpos de seguridad con fines de prevención, detección, investigación y enjuiciamiento de infracciones penales. El uso de herramientas de IA por parte de las autoridades policiales y otras autoridades pertinentes no debe convertirse en un factor de desigualdad o exclusión. No deben ignorarse las repercusiones del uso de herramientas de IA en los derechos de defensa de los sospechosos, en particular la dificultad de obtener información significativa sobre el funcionamiento de esos sistemas y la consiguiente dificultad para impugnar sus resultados ante los tribunales, en particular por parte de las personas físicas investigadas.
El presente considerando se refiere a
Artículo 6: Normas de clasificación de los sistemas de IA de alto riesgo
Anexo III: Sistemas de IA de alto riesgo contemplados en el apartado 2 del artículo 6