Erwägungsgrund 61

Bestimmte KI-Systeme, die für die Rechtspflege und demokratische Prozesse bestimmt sind, sollten angesichts ihrer potenziell erheblichen Auswirkungen auf die Demokratie, die Rechtsstaatlichkeit, die individuellen Freiheiten sowie das Recht auf einen wirksamen Rechtsbehelf und ein faires Verfahren als mit hohem Risiko behaftet eingestuft werden. Um insbesondere den Risiken potenzieller Verzerrungen, Fehler und Undurchsichtigkeit zu begegnen, sollten KI-Systeme, die von einer Justizbehörde oder in deren Auftrag eingesetzt werden sollen, um die Justizbehörden bei der Recherche und Auslegung von Fakten und Gesetzen sowie bei der Anwendung des Rechts auf einen konkreten Sachverhalt zu unterstützen, als hochriskant eingestuft werden. KI-Systeme, die von alternativen Streitbeilegungsstellen zu diesen Zwecken eingesetzt werden sollen, sollten ebenfalls als risikoreich angesehen werden, wenn die Ergebnisse der alternativen Streitbeilegungsverfahren Rechtswirkungen für die Parteien entfalten. Der Einsatz von KI-Tools kann die Entscheidungsbefugnis von Richtern oder die richterliche Unabhängigkeit unterstützen, sollte sie aber nicht ersetzen: Die endgültige Entscheidungsfindung muss weiterhin von Menschen getroffen werden. Die Einstufung von KI-Systemen als risikoreich sollte sich jedoch nicht auf KI-Systeme erstrecken, die für reine administrative Hilfstätigkeiten bestimmt sind, die sich nicht auf die eigentliche Rechtsprechung im Einzelfall auswirken, wie etwa die Anonymisierung oder Pseudonymisierung von gerichtlichen Entscheidungen, Dokumenten oder Daten, die Kommunikation zwischen Bediensteten oder Verwaltungsaufgaben.

Dieser Erwägungsgrund bezieht sich auf

Artikel 6: Klassifizierungsregeln für KI-Systeme mit hohem Risiko

Anhang III: In Artikel 6 Absatz 2 genannte AI-Systeme mit hohem Risiko