Les personnes en situation de vulnérabilité telles que les personnes âgées, les personnes en situation de handicap ou celles dont la culture numérique ou l'accès aux technologies modernes sont limités, peuvent être mal équipées pour interagir avec les systèmes d'IA. Ces groupes peuvent rencontrer des difficultés pour accéder aux services basés sur l'IA, qu'il s'agisse de simples plateformes d'application en ligne, de ‘chatbots’ ou d'assistants virtuels. Cela pourrait entraîner l'exclusion des services sociaux et, par conséquent, exacerber les inégalités existantes.

À l'autre bout du dispositif de prestation des services sociaux, la dépendance aux systèmes d'IA soulève des questions liées à la qualité. De tels systèmes sont, dans la plupart des cas, conçus pour soutenir les décisions des professionnels humains et ne doivent pas remplacer le jugement humain. Néanmoins, comme le montre la jurisprudence nationale, il peut exister des cas où les professionnels manquent de temps, de ressources ou sont tout simplement sujets à un biais d'automatisation, et réticents à utiliser leur expertise professionnelle pour prendre une décision différente de celle recommandée par le système. Cependant, les systèmes d'IA ne sont pas infaillibles[1], et les erreurs dans les allocations peuvent être fatales pour certains des membres les plus vulnérables de la société. De plus, il existe une inquiétude selon laquelle les services sociaux « numériques par conception » et la dépendance excessive à l'IA conduiraient à l'érosion des compétences des travailleurs sociaux, compromettant ainsi la qualité du service, notamment dans les cas complexes et sensibles.

 

[1] Par exemple, au Royaume-Uni, l'arrêt Johnson et autres c. SSWP (EWCA Civ 778, Judgement, Secretary of State for Work et Pensions c Johnson et al, Case Nos : CO/1643/2018 CO/1552/2018) a soulevé d'importantes questions découlant de la mise en œuvre d'un système d'IA prenant des décisions en matière de prestations et d'aide sociale pour le système alors nouvellement introduit du crédit universel (un paiement unique d'aide sociale comprenant un montant personnel de base reflétant également les besoins en matière de garde d'enfants, de logement et d'autres besoins prescrits). Les demandeurs ont fait valoir que le système d'évaluation automatisé utilisé pour calculer le montant du crédit universel payable à chaque demandeur était illégal et pouvait créer une insécurité des revenus, tandis que l'État a reconnu que la méthode était "malheureuse" et "arbitraire", mais que la refonte du système « à partir de zéro » pour tenir compte des ajustements serait trop onéreuse. Cette défense a été rejetée et la contestation a abouti, au motif que les effets, dans ces cas, ont été jugés contraires à la politique et aux objectifs des règlements sous-jacents de l'UC et donc « irrationnels ».