Récital 59

Compte tenu de leur rôle et de leur responsabilité, les actions des autorités répressives impliquant certaines utilisations de systèmes d'IA se caractérisent par un important déséquilibre des pouvoirs et peuvent conduire à la surveillance, à l'arrestation ou à la privation de liberté d'une personne physique, ainsi qu'à d'autres incidences négatives sur les droits fondamentaux garantis par la Charte. En particulier, si le système d'IA n'est pas formé avec des données de haute qualité, ne répond pas à des exigences adéquates en termes de performance, de précision ou de robustesse, ou n'est pas correctement conçu et testé avant d'être mis sur le marché ou mis en service d'une autre manière, il peut isoler des personnes d'une manière discriminatoire ou autrement incorrecte ou injuste. En outre, l'exercice de droits fondamentaux procéduraux importants, tels que le droit à un recours effectif et à un procès équitable, ainsi que le droit à la défense et la présomption d'innocence, pourrait être entravé, en particulier, lorsque ces systèmes d'IA ne sont pas suffisamment transparents, explicables et documentés. Il convient donc de classer comme présentant un risque élevé, dans la mesure où leur utilisation est autorisée par le droit de l'Union et le droit national applicables, un certain nombre de systèmes d'IA destinés à être utilisés dans le contexte répressif, où l'exactitude, la fiabilité et la transparence sont particulièrement importantes pour éviter les effets négatifs, conserver la confiance du public et garantir l'obligation de rendre des comptes et des voies de recours effectives. Compte tenu de la nature des activités et des risques qui y sont liés, ces systèmes d'IA à haut risque devraient inclure en particulier les systèmes d'IA destinés à être utilisés par les services répressifs ou en leur nom, ou par les institutions, organes ou organismes de l'Union qui soutiennent les services répressifs, pour évaluer le risque qu'une personne physique soit victime d'infractions pénales, tels que les polygraphes et autres outils similaires, pour évaluer la fiabilité des éléments de preuve dans le cadre d'enquêtes ou de poursuites pénales et, dans la mesure où le présent règlement ne l'interdit pas, pour évaluer le risque qu'une personne physique commette une infraction ou récidive non seulement sur la base du profilage de personnes physiques ou de l'évaluation de traits de personnalité et de caractéristiques ou du comportement criminel antérieur de personnes physiques ou de groupes, à des fins de profilage dans le cadre de la détection, d'enquêtes ou de poursuites pénales. Les systèmes d'IA spécifiquement destinés à être utilisés dans le cadre de procédures administratives par les autorités fiscales et douanières, ainsi que par les cellules de renseignement financier effectuant des tâches administratives d'analyse d'informations conformément à la législation anti-blanchiment de l'Union, ne doivent pas être classés comme des systèmes d'IA à haut risque utilisés par les services répressifs à des fins de prévention, de détection, d'enquête et de poursuite d'infractions pénales. L'utilisation d'outils d'IA par les services répressifs et les autres autorités compétentes ne doit pas devenir un facteur d'inégalité ou d'exclusion. L'impact de l'utilisation des outils d'IA sur les droits de la défense des suspects ne doit pas être ignoré, en particulier la difficulté d'obtenir des informations significatives sur le fonctionnement de ces systèmes et la difficulté qui en résulte de contester leurs résultats devant les tribunaux, en particulier pour les personnes physiques faisant l'objet d'une enquête.

Le présent considérant concerne

Article 6 : Règles de classification des systèmes d'IA à haut risque

Annexe III : Systèmes d'IA à haut risque visés à l'article 6, paragraphe 2