Erwägungsgrund 65
Das Risikomanagementsystem sollte aus einem kontinuierlichen, iterativen Prozess bestehen, der während des gesamten Lebenszyklus eines KI-Systems mit hohem Risiko geplant und durchgeführt wird. Dieser Prozess sollte darauf abzielen, die relevanten Risiken von KI-Systemen für Gesundheit, Sicherheit und Grundrechte zu ermitteln und zu mindern. Das Risikomanagementsystem sollte regelmäßig überprüft und aktualisiert werden, um seine kontinuierliche Wirksamkeit sowie die Begründung und Dokumentation aller wichtigen Entscheidungen und Maßnahmen, die gemäß dieser Verordnung getroffen wurden, sicherzustellen. Dieses Verfahren sollte gewährleisten, dass der Anbieter Risiken oder nachteilige Auswirkungen ermittelt und Maßnahmen zur Abschwächung der bekannten und vernünftigerweise vorhersehbaren Risiken von KI-Systemen für die Gesundheit, die Sicherheit und die Grundrechte in Anbetracht ihres Verwendungszwecks und des vernünftigerweise vorhersehbaren Missbrauchs ergreift, einschließlich der möglichen Risiken, die sich aus der Wechselwirkung zwischen dem KI-System und dem Umfeld ergeben, in dem es betrieben wird. Das Risikomanagementsystem sollte die nach dem Stand der Technik in der KI am besten geeigneten Risikomanagementmaßnahmen treffen. Bei der Ermittlung der am besten geeigneten Risikomanagementmaßnahmen sollte der Anbieter die getroffenen Entscheidungen dokumentieren und erläutern und gegebenenfalls Experten und externe Interessengruppen einbeziehen. Bei der Ermittlung des nach vernünftigem Ermessen vorhersehbaren Missbrauchs von KI-Systemen mit hohem Risiko sollte der Anbieter auch Verwendungen von KI-Systemen berücksichtigen, die zwar nicht direkt durch den beabsichtigten Zweck abgedeckt und in der Gebrauchsanweisung vorgesehen sind, von denen jedoch nach vernünftigem Ermessen erwartet werden kann, dass sie sich aus leicht vorhersehbarem menschlichem Verhalten im Zusammenhang mit den spezifischen Merkmalen und der Verwendung eines bestimmten KI-Systems ergeben. Alle bekannten oder vorhersehbaren Umstände im Zusammenhang mit der bestimmungsgemäßen Verwendung des KI-Systems mit hohem Risiko oder unter Bedingungen eines vernünftigerweise vorhersehbaren Missbrauchs, die zu Risiken für die Gesundheit und Sicherheit oder die Grundrechte führen können, sollten in die vom Anbieter bereitgestellte Gebrauchsanweisung aufgenommen werden. Damit soll sichergestellt werden, dass der Anwender sich dieser Risiken bewusst ist und sie bei der Nutzung des risikoreichen KI-Systems berücksichtigt. Die Ermittlung und Umsetzung von Maßnahmen zur Risikominderung bei vorhersehbarem Missbrauch im Rahmen dieser Verordnung sollte keine spezielle zusätzliche Schulung für das Hochrisiko-KI-System durch den Anbieter erfordern, um den vorhersehbaren Missbrauch anzugehen. Die Anbieter werden jedoch ermutigt, solche zusätzlichen Schulungsmaßnahmen in Betracht zu ziehen, um vorhersehbare Missbräuche in angemessener Weise abzumildern, sofern dies notwendig und angemessen ist.