Comme nous l'avons déjà observé, les processus décisionnels de l'IA peuvent être opaques, de sorte qu'il est difficile de comprendre comment et pourquoi une décision a été prise. Ce manque de transparence peut nuire à la responsabilité dans la prestation des services sociaux, en particulier lorsque des personnes se voient refuser des prestations ou des services sur la base de décisions de l'IA. Si une personne est désavantagée par une décision d'IA (par exemple, si elle se voit refuser à tort des prestations sociales), il peut être difficile pour elle de faire appel ou de contester la décision en raison de la nature « boîte noire » de nombreux systèmes d'IA, que ce soit intentionnel (c'est-à-dire pour des considérations de propriété intellectuelle) ou intrinsèque (c'est-à-dire trop compliqué pour quelqu'un qui n'a pas de compétences numériques particulièrement poussées).

Le manque de transparence et de responsabilité dans l'utilisation des systèmes d'IA peut priver les personnes concernées par les décisions prises par l'IA d'une explication ou de la possibilité de faire appel contre des décisions qui, dans certains cas, peuvent être d'une importance vitale pour elles, et porter ainsi atteinte à leur droit à un recours effectif. Dans les cas où les événements en question relèvent entièrement, ou en grande partie, de la connaissance exclusive des autorités, comme ce serait sans doute le cas lorsque des systèmes d'IA sont impliqués, ou lorsqu'il serait extrêmement difficile en pratique pour le demandeur de prouver la discrimination, la Cour/ le CEDS a déplacé la charge de la preuve sur les autorités[1].

 

[1] Salman c. Turquie [GC], NO. 21986/93 , 27 juin 2000, No. 21986/93, § 100 ; Anguelova c. Bulgarie, No. 8361/97, 13 juin 2002, 38361/97 § 111 ; No. 3891/19, Cînţa c. Roumanie, 18 février 2020, No. 3891/19, § 79 ; Mental Disability Advocacy Centre (MDAC) c. Bulgarie, No. 41/2007, 3 juin 2008, § 52.