Erwägungsgrund 96

Um den Schutz der Grundrechte wirksam zu gewährleisten, sollten Betreiber von KI-Systemen mit hohem Risiko, bei denen es sich um Einrichtungen des öffentlichen Rechts handelt, oder private Einrichtungen, die öffentliche Dienstleistungen erbringen, sowie Betreiber bestimmter KI-Systeme mit hohem Risiko, die in einem Anhang zu dieser Verordnung aufgeführt sind, wie z. B. Banken oder Versicherungen, vor der Inbetriebnahme eine Grundrechtsfolgenabschätzung durchführen. Dienstleistungen, die für Einzelpersonen wichtig sind und einen öffentlichen Charakter haben, können auch von privaten Einrichtungen erbracht werden. Private Einrichtungen, die solche öffentlichen Dienstleistungen erbringen, sind mit Aufgaben von öffentlichem Interesse verbunden, z. B. in den Bereichen Bildung, Gesundheitsfürsorge, Sozialdienste, Wohnungswesen und Rechtspflege. Ziel der Folgenabschätzung für die Grundrechte ist es, die spezifischen Risiken für die Rechte von Einzelpersonen oder Gruppen von Einzelpersonen, die wahrscheinlich betroffen sind, zu ermitteln und Maßnahmen zu bestimmen, die im Falle des Eintretens dieser Risiken zu ergreifen sind. Die Folgenabschätzung sollte vor dem Einsatz des risikoreichen KI-Systems durchgeführt und aktualisiert werden, wenn sich nach Ansicht des Einsatzbetreibers einer der relevanten Faktoren geändert hat. In der Folgenabschätzung sollten die relevanten Prozesse des Betreibers ermittelt werden, in denen das KI-System mit hohem Risiko entsprechend seinem beabsichtigten Zweck eingesetzt wird, und sie sollte eine Beschreibung des Zeitraums und der Häufigkeit, in der das System eingesetzt werden soll, sowie der spezifischen Kategorien natürlicher Personen und Gruppen enthalten, die in dem jeweiligen Nutzungskontext wahrscheinlich betroffen sein werden. Die Bewertung sollte auch die Ermittlung spezifischer Schadensrisiken umfassen, die sich auf die Grundrechte dieser Personen oder Gruppen auswirken können. Bei der Durchführung dieser Bewertung sollte der Betreiber Informationen berücksichtigen, die für eine ordnungsgemäße Bewertung der Auswirkungen relevant sind, einschließlich, aber nicht beschränkt auf die Informationen, die der Anbieter des Hochrisiko-KI-Systems in der Gebrauchsanweisung bereitstellt. In Anbetracht der ermittelten Risiken sollten die Betreiber Maßnahmen festlegen, die im Falle des Eintretens dieser Risiken zu ergreifen sind; dazu gehören beispielsweise Governance-Regelungen in diesem spezifischen Nutzungskontext, wie etwa Regelungen für die menschliche Aufsicht gemäß der Nutzungsanleitung, oder Verfahren für die Bearbeitung von Beschwerden und Rechtsbehelfe, da diese zur Minderung der Risiken für die Grundrechte in konkreten Nutzungsfällen beitragen könnten. Nach Durchführung dieser Folgenabschätzung sollte der Betreiber die zuständige Marktaufsichtsbehörde unterrichten. Um die für die Durchführung der Folgenabschätzung erforderlichen Informationen zu sammeln, könnten die Betreiber von KI-Systemen mit hohem Risiko, insbesondere wenn diese im öffentlichen Sektor eingesetzt werden, gegebenenfalls einschlägige Interessengruppen, einschließlich der Vertreter von Personengruppen, die von dem KI-System betroffen sein könnten, unabhängige Sachverständige und Organisationen der Zivilgesellschaft in die Durchführung solcher Folgenabschätzungen und die Ausarbeitung von Maßnahmen einbeziehen, die im Falle des Eintretens der Risiken zu ergreifen sind. Das Europäische Amt für künstliche Intelligenz (KI-Büro) sollte eine Vorlage für einen Fragebogen entwickeln, um die Einhaltung der Vorschriften zu erleichtern und den Verwaltungsaufwand für die Anwender zu verringern.

Dieser Erwägungsgrund bezieht sich auf

Artikel 27: Grundrechtliche Folgenabschätzung für hochriskante KI-Systeme