Erwägungsgrund 59

In Anbetracht ihrer Rolle und Verantwortung sind Maßnahmen von Strafverfolgungsbehörden, die bestimmte KI-Systeme einsetzen, durch ein erhebliches Machtungleichgewicht gekennzeichnet und können zu Überwachung, Verhaftung oder Freiheitsentzug einer natürlichen Person sowie zu anderen nachteiligen Auswirkungen auf die in der Charta garantierten Grundrechte führen. Insbesondere wenn das KI-System nicht mit hochwertigen Daten trainiert wird, keine angemessenen Anforderungen an seine Leistung, Genauigkeit oder Robustheit erfüllt oder nicht ordnungsgemäß konzipiert und getestet wird, bevor es auf den Markt gebracht oder anderweitig in Betrieb genommen wird, kann es Personen in diskriminierender oder anderweitig falscher oder ungerechter Weise aussondern. Darüber hinaus könnte die Ausübung wichtiger verfahrensrechtlicher Grundrechte wie das Recht auf einen wirksamen Rechtsbehelf und ein faires Verfahren sowie das Recht auf Verteidigung und die Unschuldsvermutung insbesondere dann beeinträchtigt werden, wenn solche KI-Systeme nicht ausreichend transparent, erklärbar und dokumentiert sind. Es ist daher angebracht, eine Reihe von KI-Systemen, die im Rahmen der Strafverfolgung eingesetzt werden sollen, wo Genauigkeit, Zuverlässigkeit und Transparenz besonders wichtig sind, um nachteilige Auswirkungen zu vermeiden, das Vertrauen der Öffentlichkeit zu erhalten und die Rechenschaftspflicht und wirksame Rechtsmittel zu gewährleisten, als mit hohem Risiko behaftet einzustufen, sofern ihre Verwendung nach dem einschlägigen Unionsrecht und dem nationalen Recht zulässig ist. Angesichts der Art der Tätigkeiten und der damit verbundenen Risiken sollten zu diesen KI-Systemen mit hohem Risiko insbesondere KI-Systeme gehören, die dazu bestimmt sind, von oder im Namen von Strafverfolgungsbehörden oder von Organen, Einrichtungen, Ämtern oder Agenturen der Union zur Unterstützung von Strafverfolgungsbehörden für die Bewertung des Risikos einer natürlichen Person, Opfer einer Straftat zu werden, verwendet zu werden, wie Polygraphen und ähnliche Instrumente, zur Bewertung der Zuverlässigkeit von Beweismitteln im Rahmen von Ermittlungen oder der Strafverfolgung von Straftaten und, soweit dies nicht nach dieser Verordnung verboten ist, zur Bewertung des Risikos, dass eine natürliche Person straffällig wird oder erneut straffällig wird, nicht ausschließlich auf der Grundlage der Erstellung von Profilen natürlicher Personen oder der Bewertung von Persönlichkeitsmerkmalen und Eigenschaften oder des früheren kriminellen Verhaltens natürlicher Personen oder Gruppen, zur Erstellung von Profilen im Rahmen der Aufdeckung, Untersuchung oder Verfolgung von Straftaten. KI-Systeme, die speziell für Verwaltungsverfahren von Steuer- und Zollbehörden sowie von Finanzermittlungsstellen, die Verwaltungsaufgaben bei der Analyse von Informationen gemäß den Rechtsvorschriften der Union zur Bekämpfung der Geldwäsche wahrnehmen, eingesetzt werden sollen, sollten nicht als KI-Systeme mit hohem Risiko eingestuft werden, die von Strafverfolgungsbehörden zum Zwecke der Verhütung, Aufdeckung, Untersuchung und Verfolgung von Straftaten eingesetzt werden. Der Einsatz von KI-Werkzeugen durch Strafverfolgungsbehörden und andere einschlägige Behörden sollte nicht zu einem Faktor der Ungleichheit oder Ausgrenzung werden. Die Auswirkungen des Einsatzes von KI-Instrumenten auf die Verteidigungsrechte von Verdächtigen sollten nicht außer Acht gelassen werden, insbesondere die Schwierigkeit, aussagekräftige Informationen über die Funktionsweise dieser Systeme zu erhalten, und die sich daraus ergebende Schwierigkeit, ihre Ergebnisse vor Gericht anzufechten, vor allem für natürliche Personen, gegen die ermittelt wird.

Dieser Erwägungsgrund bezieht sich auf

Artikel 6: Klassifizierungsregeln für KI-Systeme mit hohem Risiko

Anhang III: In Artikel 6 Absatz 2 genannte AI-Systeme mit hohem Risiko