L'utilisation de l'IA dans les services sociaux peut perpétuer la discrimination (y compris indirecte et intersectionnelle) en raison des préjugés intégrés dans les données sociétales, tels que les préjugés raciaux, sexistes ou socio-économiques.[1] Cela peut entraîner un refus injustifié de services ou de prestations, affectant de manière disproportionnée les groupes marginalisés et compromettant l'accès égal à ces services. Les systèmes d'analyse prédictive, de détection d'erreurs ou de fraudes, ainsi que les systèmes d'allocation des ressources, sont plus susceptibles d'être affectés par des biais, car ils reposent sur des données historiques et risquent d'aggraver la discrimination structurelle et les stéréotypes. Par exemple, un système de détection de fraude formé sur des données qui reflètent de manière disproportionnée les expériences de certains groupes est susceptible de développer des profils de risque et d'établir des liens basés sur des biais, tels que le statut socio-économique faible ou un passé migratoire. Cela peut entraîner des recommandations biaisées et, finalement, la violation du droit à la non-discrimination, non seulement pour les individus, mais aussi pour l'ensemble des populations perçues par le système comme homogènes. Des mesures de protection sont nécessaires, y compris la surveillance humaine, afin de garantir l'évaluation critique des résultats de l'IA et ainsi neutraliser le risque d'effets discriminatoires[2].

En cas d'allégation de discrimination, les autorités nationales devraient prendre toutes les mesures raisonnables pour déterminer si le résultat était discriminatoire. Cela devrait inclure une enquête efficace et indépendante.[3]

 

[1] Voir Pays-Bas – Avis sur la protection juridique des citoyens, CDL-AD(2021)031, Commission de Venise, 2021, §§ 96-98

[2] Il convient toutefois de noter que l'implication humaine ne suffit pas à elle seule à neutraliser les risques de discrimination ; dans le scandale des allocations familiales néerlandaises, par exemple, les fonctionnaires étaient chargés d'examiner manuellement les demandes présentant le score de risque le plus élevé. Sans d'informations sur les raisons pour lesquelles le système avait attribué un score de risque élevé à une demande spécifique, les fonctionnaires avaient tendance à généraliser le comportement des individus de la même race ou de la même ethnie, les percevant de manière stéréotypée comme frauduleux ou déviants.

[3] Basu c. Allemagne, No. 215/19, 18 octobre 2022, §38.