Erwägungsgrund 75
Technische Robustheit ist eine zentrale Anforderung an KI-Systeme mit hohem Risiko. Sie sollten widerstandsfähig gegenüber schädlichem oder anderweitig unerwünschtem Verhalten sein, das sich aus Einschränkungen innerhalb der Systeme oder der Umgebung, in der die Systeme arbeiten, ergeben kann (z. B. Fehler, Störungen, Inkonsistenzen, unerwartete Situationen). Daher sollten technische und organisatorische Maßnahmen ergriffen werden, um die Robustheit von KI-Systemen mit hohem Risiko zu gewährleisten, z. B. durch die Konzeption und Entwicklung geeigneter technischer Lösungen zur Verhinderung oder Minimierung von schädlichem oder anderweitig unerwünschtem Verhalten. Zu diesen technischen Lösungen können beispielsweise Mechanismen gehören, die es dem System ermöglichen, seinen Betrieb sicher zu unterbrechen (Fail-Safe-Pläne), wenn bestimmte Anomalien auftreten oder wenn der Betrieb außerhalb bestimmter vorgegebener Grenzen erfolgt. Ein fehlender Schutz gegen diese Risiken könnte zu Sicherheitsbeeinträchtigungen führen oder die Grundrechte beeinträchtigen, z. B. durch fehlerhafte Entscheidungen oder falsche oder verzerrte Ergebnisse des KI-Systems.