Erwägungsgrund 73
KI-Systeme mit hohem Risiko sollten so konzipiert und entwickelt werden, dass natürliche Personen ihre Funktionsweise überwachen und sicherstellen können, dass sie bestimmungsgemäß genutzt werden und dass ihre Auswirkungen während des gesamten Lebenszyklus des Systems berücksichtigt werden. Zu diesem Zweck sollte der Anbieter des Systems vor dem Inverkehrbringen oder der Inbetriebnahme des Systems geeignete Maßnahmen für die menschliche Aufsicht festlegen. Insbesondere sollten solche Maßnahmen gegebenenfalls gewährleisten, dass das System eingebauten Betriebsbeschränkungen unterliegt, die vom System selbst nicht außer Kraft gesetzt werden können, und auf den menschlichen Bediener reagiert, und dass die natürlichen Personen, denen die menschliche Aufsicht übertragen wurde, über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, um diese Aufgabe wahrzunehmen. Es muss auch sichergestellt werden, dass KI-Systeme mit hohem Risiko über Mechanismen verfügen, die eine natürliche Person, der die menschliche Aufsicht übertragen wurde, anleiten und informieren, damit sie in Kenntnis der Sachlage entscheiden kann, ob, wann und wie sie eingreifen muss, um negative Folgen oder Risiken zu vermeiden oder das System abzuschalten, wenn es nicht wie vorgesehen funktioniert. In Anbetracht der erheblichen Folgen für Personen im Falle einer fehlerhaften Übereinstimmung durch bestimmte biometrische Identifizierungssysteme ist es angebracht, für diese Systeme eine verstärkte Anforderung an die menschliche Aufsicht vorzusehen, so dass der Betreiber keine Maßnahmen oder Entscheidungen auf der Grundlage der vom System vorgenommenen Identifizierung treffen darf, wenn diese nicht von mindestens zwei natürlichen Personen gesondert überprüft und bestätigt wurde. Diese Personen können einer oder mehreren Einrichtungen angehören und die Person einschließen, die das System betreibt oder verwendet. Diese Anforderung sollte keine unnötigen Belastungen oder Verzögerungen mit sich bringen, und es könnte ausreichen, dass die getrennten Überprüfungen durch die verschiedenen Personen automatisch in den vom System erzeugten Protokollen aufgezeichnet werden. In Anbetracht der Besonderheiten der Bereiche Strafverfolgung, Migration, Grenzkontrolle und Asyl sollte diese Anforderung nicht gelten, wenn das Unionsrecht oder das nationale Recht die Anwendung dieser Anforderung als unverhältnismäßig erachtet.