L'application des systèmes d'IA au maintien de l'ordre et à la sécurité publique soulève également des inquiétudes quant aux biais algorithmiques pouvant conduire à des discriminations. Par exemple, plusieurs cas ont montré que les systèmes de reconnaissance faciale comportaient des biais, entraînant l'identification erronée de suspects et, dans certains cas, l'incarcération injustifiée de personnes innocentes[1]. De plus, les outils d'IA destinés à améliorer la technologie de reconnaissance faciale, lorsqu'ils sont entraînés à partir de jeux de données inadéquats ou biaisés, peuvent réduire la précision de l'identification pour certains groupes.[2] Les États devraient faire preuve de prudence en ce qui concerne l'identification, l'évaluation, la prévention et l'atténuation des risques de discrimination découlant de l'utilisation, par exemple, des technologies de reconnaissance faciale ou des systèmes d'identification biométrique à distance dans les secteurs du maintien de l'ordre et de la sécurité. Les États peuvent évaluer si de nouvelles réglementations sont nécessaires ou si des mesures spécifiques, y compris des interdictions explicites, doivent être mises en œuvre pour prévenir la discrimination[3].

Dans le contexte des services pénitentiaires et de probation, la Recommandation CM/Rec(2024)5 souligne que des garanties doivent être mises en place pour prévenir la discrimination, assurer l'équité procédurale et défendre la dignité humaine, afin que la gestion des prisons par l'IA reste compatible avec les droits fondamentaux et l'État de droit. Lors du développement de l'IA et des technologies numériques connexes en vue d'accroître la précision et l'objectivité de l'évaluation des risques, il convient de relever les défis des biais algorithmiques ainsi que de la qualité et de la représentativité des données. La conception et l'utilisation des outils d'évaluation des risques doivent tenir compte de la diversité sous toutes ses formes, y compris la perspective de genre, les différentes formes de handicap et le multiculturalisme, afin d'éviter toute discrimination. Lorsque ces outils sont utilisés pour personnaliser les plans de traitement et de réinsertion, il convient de veiller à éviter les préjugés. L'utilisation de ces outils ne devrait pas remplacer les contacts humains réguliers entre les professionnels et les délinquants, y compris, le cas échéant, le travail avec leurs familles et leurs enfants, conformément à la Recommandation CM/Rec(2018)5 du Comité des ministres aux États membres concernant les enfants de détenus.

 

[1] Étude CDADI/GEC (2023), pp. 22-23. D'autres exemples figurent dans la Résolution 2342 (2020) « Justice par algorithme - Le rôle de l'intelligence artificielle dans les systèmes de police et de justice pénale », paragraphe 7.