Récital 73
Les systèmes d'IA à haut risque devraient être conçus et développés de manière à ce que des personnes physiques puissent superviser leur fonctionnement, s'assurer qu'ils sont utilisés comme prévu et que leurs impacts sont pris en compte tout au long du cycle de vie du système. À cette fin, le fournisseur du système devrait définir des mesures de surveillance humaine appropriées avant la mise sur le marché ou la mise en service du système. En particulier, le cas échéant, ces mesures devraient garantir que le système est soumis à des contraintes opérationnelles intégrées qui ne peuvent être contournées par le système lui-même et qu'il est à l'écoute de l'opérateur humain, et que les personnes physiques auxquelles la surveillance humaine a été confiée ont les compétences, la formation et l'autorité nécessaires pour remplir ce rôle. Il est également essentiel, le cas échéant, de veiller à ce que les systèmes d'IA à haut risque comprennent des mécanismes permettant de guider et d'informer une personne physique à qui une surveillance humaine a été confiée afin qu'elle puisse décider en connaissance de cause si, quand et comment intervenir pour éviter des conséquences négatives ou des risques, ou arrêter le système s'il ne fonctionne pas comme prévu. Compte tenu des conséquences importantes pour les personnes en cas de concordance incorrecte par certains systèmes d'identification biométrique, il convient de prévoir une exigence de surveillance humaine renforcée pour ces systèmes, de sorte qu'aucune action ou décision ne puisse être prise par le responsable du déploiement sur la base de l'identification résultant du système, à moins que celle-ci n'ait été vérifiée et confirmée séparément par au moins deux personnes physiques. Ces personnes peuvent appartenir à une ou plusieurs entités et inclure la personne qui exploite ou utilise le système. Cette exigence ne doit pas constituer une charge ou un retard inutile et il pourrait suffire que les vérifications distinctes effectuées par les différentes personnes soient automatiquement enregistrées dans les journaux générés par le système. Compte tenu des spécificités des domaines de la répression, de la migration, du contrôle aux frontières et de l'asile, cette exigence ne devrait pas s'appliquer lorsque le droit de l'Union ou le droit national considère que l'application de cette exigence est disproportionnée.