Récital 61

Certains systèmes d'IA destinés à l'administration de la justice et aux processus démocratiques devraient être classés dans la catégorie des systèmes à haut risque, compte tenu de leur incidence potentiellement importante sur la démocratie, l'État de droit, les libertés individuelles ainsi que le droit à un recours effectif et à un procès équitable. En particulier, pour tenir compte des risques de biais, d'erreurs et d'opacité potentiels, il convient de qualifier de systèmes d'IA à haut risque les systèmes d'IA destinés à être utilisés par une autorité judiciaire ou en son nom pour aider les autorités judiciaires à rechercher et à interpréter les faits et le droit et à appliquer le droit à un ensemble concret de faits. Les systèmes d'IA destinés à être utilisés par les organismes de règlement extrajudiciaire des litiges à ces fins devraient également être considérés comme présentant un risque élevé lorsque les résultats des procédures de règlement extrajudiciaire des litiges produisent des effets juridiques pour les parties. L'utilisation d'outils d'IA peut soutenir le pouvoir de décision des juges ou l'indépendance judiciaire, mais ne doit pas les remplacer : la prise de décision finale doit rester une activité humaine. La classification des systèmes d'IA comme étant à haut risque ne devrait toutefois pas s'étendre aux systèmes d'IA destinés à des activités administratives purement auxiliaires qui n'affectent pas l'administration réelle de la justice dans des cas individuels, telles que l'anonymisation ou la pseudonymisation de décisions judiciaires, de documents ou de données, la communication entre le personnel, les tâches administratives.

Le présent considérant concerne

Article 6 : Règles de classification des systèmes d'IA à haut risque

Annexe III : Systèmes d'IA à haut risque visés à l'article 6, paragraphe 2