Erwägungsgrund 44
Es gibt ernsthafte Bedenken hinsichtlich der wissenschaftlichen Grundlage von KI-Systemen, die darauf abzielen, Emotionen zu erkennen oder abzuleiten, zumal der Ausdruck von Emotionen in verschiedenen Kulturen und Situationen und sogar innerhalb einer einzelnen Person sehr unterschiedlich ist. Zu den Hauptmängeln solcher Systeme gehören die begrenzte Zuverlässigkeit, die mangelnde Spezifität und die begrenzte Verallgemeinerbarkeit. Daher können KI-Systeme, die Emotionen oder Absichten natürlicher Personen auf der Grundlage ihrer biometrischen Daten erkennen oder ableiten, zu diskriminierenden Ergebnissen führen und einen Eingriff in die Rechte und Freiheiten der betroffenen Personen darstellen. In Anbetracht des Machtungleichgewichts im Arbeits- oder Bildungskontext und des eingreifenden Charakters dieser Systeme könnten solche Systeme zu einer nachteiligen oder ungünstigen Behandlung bestimmter natürlicher Personen oder ganzer Personengruppen führen. Daher sollte das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen, die dazu bestimmt sind, den emotionalen Zustand von Personen in Situationen im Zusammenhang mit dem Arbeitsplatz und der Bildung zu erkennen, verboten werden. Dieses Verbot sollte sich nicht auf KI-Systeme erstrecken, die aus rein medizinischen oder sicherheitstechnischen Gründen in Verkehr gebracht werden, wie z. B. Systeme, die für therapeutische Zwecke bestimmt sind.