Les défis éthiques communément rencontrés en matière d’IA
« les algorithmes décisionnels (1) transforment les données en preuves pour un résultat donné (ci-après appelé conclusion), et que ce résultat est ensuite utilisé pour (2) déclencher et motiver une action qui (en tant que telle, ou lorsqu’elle est associée à d’autres actions) peut ne pas être neutre d’un point de vue éthique. Ce travail est effectué de manière complexe et (semi-) autonome, ce qui (3) complique l’attribution de la responsabilité pour les effets des actions dictées par des algorithmes. »
À partir de ces caractéristiques opérationnelles, il est possible d’identifier trois types épistémologiques et deux types normatifs de préoccupations éthiques, selon la manière dont les algorithmes traitent les données pour produire des preuves et motiver des actions. Les cinq types de préoccupations proposés sont susceptibles d’être à l’origine de défaillances impliquant de multiples agents humains, organisationnels et technologiques. Ce panachage d’acteurs humains et technologiques soulève de difficiles questions à propos de l’attribution des responsabilités concernant les conséquences des comportements de l’IA. Ces difficultés sont cernées dans le concept de traçabilité en tant que type principal et définitif de préoccupation.
Preuves insuffisantes
Lorsque les algorithmes tirent des conclusions des données qu’ils traitent à l’aide de statistiques inférentielles et/ou de techniques d’apprentissage automatique, ils produisent des connaissances probables mais inévitablement incertaines. La théorie de l’apprentissage statistique et la théorie de l’apprentissage informatique s’intéressent toutes deux à la caractérisation et à la quantification de cette incertitude. Les méthodes statistiques peuvent identifier des corrélations significatives, mais les corrélations ne sont généralement pas suffisantes pour apporter la démonstration d’une causalité, et sont donc susceptibles de ne pas constituer une raison suffisante pour motiver une action sur la base de la connaissance d’une telle relation. Le concept de « données exploitables » prend en compte l’incertitude inhérente aux corrélations statistiques ainsi que le caractère normatif du choix d’agir sur celles-ci.
Preuves inexplicables
Lorsque des données sont utilisées en tant qu’informations probantes (ou traitées pour produire de telles informations) destinées à appuyer une conclusion, il est raisonnable de s’attendre à ce que le lien entre les données et la conclusion soit intelligible et se prête à un examen rigoureux. Étant donné la complexité et l’ampleur de nombreux systèmes d’IA, l’intelligibilité et le contrôle ne vont pas de soi. Des limitations pratiques et de principe résultent du défaut d’accès aux ensembles de données et des difficultés inhérentes à la détermination de la façon dont la multitude de données et de fonctionnalités prises en compte par un système d’IA aboutit à des conclusions et des résultats spécifiques.
Preuves mal fondées
Les algorithmes traitent des données et sont par conséquent soumis à une limitation commune à tous les types de traitement de données, à savoir que les résultats ne peuvent jamais excéder les données d’entrée. Le principe informatique informel garbage in, garbage out (principe GIGO qui peut être rendu par « à données inexactes, résultats erronés ») illustre ce phénomène et sa signification : la fiabilité des conclusions (mais également leur neutralité) ne peut être supérieure à celle des données sur lesquelles elles sont fondées.
Résultats inéquitables
Toute action guidée par des algorithmes peut être examinée sous différents angles, critères et principes éthiques. L’acceptabilité normative de l’action et de ses effets est tributaire de l’observateur et peut être évaluée indépendamment de sa qualité épistémologique. Une action peut être considérée comme discriminatoire, par exemple, du seul fait de ses conséquences sur une catégorie de personnes protégées, même si elle est effectuée sur la base d’éléments d’appréciation probants, vérifiables et bien fondés.
Effets transformateurs
L’impact des systèmes d’IA ne peut pas toujours être imputable à des défaillances épistémiques ou éthiques. En l’absence d’effets dommageables manifestes, leurs répercussions sur le plan éthique peuvent paraître neutres de prime abord. Un ensemble distinct de conséquences, qui peuvent être qualifiées d’effets transformateurs, porte sur des changements subtils dans la conceptualisation et l’organisation du monde.
Traçabilité
Les systèmes d’IA impliquent souvent de multiples agents qui peuvent être des concepteurs et des utilisateurs humains, des fabricants et des organismes de déploiement, ainsi que les systèmes et les modèles eux-mêmes. Les systèmes d’IA sont également susceptibles d’interagir directement en formant des réseaux multi-agents caractérisés par une rapidité comportementale qui échappent à la surveillance et à la compréhension de leurs homologues humains en raison de leur vitesse, de leur ampleur et de leur complexité. Comme le suggèrent Mittelstadt et al. dans leur étude cartographique de l’IA, « les algorithmes sont des artefacts logiciels utilisés dans le traitement des données, qui héritent en tant que tels des défis éthiques associés à la conception et à la disponibilité des nouvelles technologies et de ceux associés à la manipulation de grands volumes de données à caractère personnel et autre. » L’ensemble de ces facteurs a pour conséquence qu’il est difficile de détecter les effets dommageables, d’en remonter à la cause et d’en imputer la responsabilité lorsque des systèmes d’IA se comportent de manière inattendue. Les problèmes suscités par l’un des cinq types de préoccupations cités ci-dessus peuvent donc engendrer une difficulté connexe touchant à la traçabilité et à la nécessité d’établir à la fois la cause et la responsabilité de comportements aux effets dommageables.
Actions injustifiées
La prise de décision algorithmique et l’exploration de données reposent pour l’essentiel sur des connaissances inductives et des corrélations identifiées au sein d’un ensemble de données. Des corrélations fondées sur un volume « suffisant » de données sont souvent considérées comme suffisamment crédibles pour diriger une action sans établir au préalable une causalité. Or des actions inspirées de corrélations peuvent se révéler doublement problématiques. Des corrélations fallacieuses sont susceptibles d’être découvertes à la place de véritables connaissances causales. Même si des corrélations fortes ou des connaissances causales sont repérées, ces connaissances peuvent ne concerner que des populations alors que des actions ayant un impact personnel significatif visent des individus.
Opacité
Elle désigne le problème de la « boîte noire » de l’IA : la logique qui sous-tend la transformation des données d’entrée en résultats peut être inconnue des observateurs ou des parties concernées, ou fondamentalement impénétrable ou inintelligible. Dans le domaine des algorithmes d’apprentissage automatique, l’opacité est le produit de la dimensionnalité élevée des données, de la complexité du code et du caractère changeant de la logique décisionnelle. La transparence et l’intelligibilité sont généralement souhaitées car les algorithmes peu prévisibles ou peu interprétables sont difficiles à contrôler, surveiller et corriger. La transparence est souvent naïvement considérée comme une panacée pour les questions éthiques que soulèvent les nouvelles technologies.
Biais
L’automatisation de la prise de décision humaine est souvent justifiée par une prétendue absence de partialité dans l’IA et les algorithmes. Cette croyance n’est pas défendable, car les systèmes d’IA prennent inévitablement des décisions biaisées. La conception et les fonctionnalités d’un système reflètent les valeurs de son concepteur et les utilisations projetées, ne serait-ce que dans la mesure où une conception particulière serait préférée car considérée comme étant l’option la meilleure ou la plus efficace. L’élaboration ne s’inscrit pas dans une trajectoire neutre et linéaire. En conséquence, « les valeurs de l’auteur, consciemment ou non, sont figées dans le code, ce qui a pour effet de les institutionnaliser». L’inclusion et l’équité tant dans la conception que dans l’utilisation de l’IA sont donc essentielles pour combattre les biais implicites. Friedman et Nissenbaum précisent que les biais résultent (1) des valeurs sociales préexistantes incluses dans les « institutions, pratiques et mentalités sociales » sur lesquelles se constitue la technologie, (2) des contraintes techniques et (3) des aspects émergents d’un contexte d’utilisation.
Discrimination
Les biais présents dans les systèmes d’IA peuvent avoir pour conséquence une discrimination exercée à l’encontre d’individus et de groupes. Une analyse discriminatoire peut favoriser l’existence de prédictions se réalisant d’elles-mêmes et la stigmatisation de groupes ciblés, portant ainsi atteinte à leur autonomie et leur participation à la société. Bien qu’il n’existe pas de définition unique de la discrimination, les cadres juridiques internationaux ont depuis longtemps engendré une jurisprudence abondante examinant les formes de discrimination (directe ou indirecte, par exemple), les objectifs des législations relatives à l’égalité (égalité formelle et substantielle, par exemple), et les seuils appropriés en matière de répartition des résultats entre groupes. Dans ce contexte, il est particulièrement difficile d’intégrer dans les systèmes d’IA des considérations de non-discrimination et d’équité. Il peut être concevable d’orienter les algorithmes de sorte qu’ils ne tiennent pas compte d’attributs sensibles favorisant la discrimination, tels que le sexe ou l’origine ethnique, en fonction de l’apparition de discrimination dans un contexte donné. Toutefois, il n’est pas aisé de prévoir ou détecter des indicateurs indirects d’attributs protégés, plus particulièrement quand les algorithmes accèdent à des ensembles couplés de données.
Autonomie
Les décisions porteuses de valeur prises par les algorithmes peuvent également faire peser une menace sur l’autonomie. La personnalisation du contenu par des systèmes d’IA, comme les systèmes de recommandation, se révèle à cet égard particulièrement problématique. La personnalisation peut être entendue comme l’élaboration d’architectures du choix qui ne sont pas identiques entre elles dans un même échantillon. En filtrant l’information, l’IA peut influencer le comportement des personnes concernées et la prise de décision par des humains. Différentes informations, des prix et autres contenus peuvent être proposés pour cataloguer des groupes ou des publics au sein d’une population définie par un ou plusieurs attributs, par exemple la solvabilité, ce qui peut aboutir à une discrimination. La personnalisation réduit la diversité des informations rencontrées par l’utilisateur en excluant des contenus jugés non pertinents ou contradictoires avec les croyances ou les désirs de l’utilisateur. Ce point se révèle problématique dans la mesure où la diversité de l’information peut être considérée comme une condition favorisant l’autonomie. Il est contrevenu à l’autonomie décisionnelle du sujet lorsque le choix désiré reflète les intérêts d’un tiers avant ceux de la personne concernée.
Vie privée informationnelle et vie privée de groupe
Les algorithmes transforment également la notion de protection de la vie privée. Il est souvent fait appel au concept de vie privée informationnelle, ou au droit des personnes concernées de « protéger les données à caractère personnel contre tout accès illicite par des tiers » pour faire face à la discrimination, à la personnalisation et à la diminution de l’autonomie dues à l’opacité. La vie privée informationnelle se rapporte à la capacité d’un individu à contrôler les informations le concernant et aux efforts que devraient déployer des tiers pour obtenir ces informations. Un droit à l’identité dérivé de la vie privée informationnelle sous-entend le caractère problématique d’un profilage opaque ou secret lorsqu'il est effectué par un tiers. Dans un environnement de soins de santé, cela pourrait inclure les assureurs, les prestataires de soins à distance (par exemple, les chatbots et les prestataires de services de triage), les entreprises de technologie grand public et autres. L’opacité décisionnelle empêche la surveillance et une prise de décision éclairée concernant le partage des données. Les personnes concernées se trouvent dans l’impossibilité de définir des normes en matière de protection de la vie privée pour régir de manière générique tous types de données, car la valeur ou la perspicacité des données ne sont établies qu’au moyen de leur traitement.
Responsabilité morale et responsabilité distribuée
Quand une technologie est défaillante, il convient d’établir les responsabilités et de les assortir de sanctions. L’imputabilité de la responsabilité ne peut être justifiée que si l’acteur dispose d’une certaine marge de contrôle et d’intentionnalité dans l’exécution de l’action. Classiquement, les développeurs et les ingénieurs informaticiens exercent « dans ses moindres détails le contrôle du comportement de la machine », pour autant qu’ils sont capables d’expliquer à un tiers sa conception et sa fonction globales. Cette notion traditionnelle de la responsabilité en matière de création de logiciels suppose que le développeur est en mesure d’envisager les effets probables de la technologie et ses défauts de fonctionnement potentiels, et par conséquent de faire des choix de conception orientés vers les résultats les plus souhaitables conformément aux spécifications fonctionnelles.
Biais d’automatisation
Un problème connexe concerne la diffusion du sentiment de responsabilité et de l’obligation de rendre des comptes chez les utilisateurs de systèmes d’IA, et la tendance liée à faire confiance aux résultats des systèmes sur la base de leur objectivité, précision ou complexité perçues. Les décideurs humains peuvent se détourner de leur responsabilité lorsqu’ils délèguent à l’IA la prise de décision. Des effets similaires peuvent être observés dans les réseaux mixtes composés de systèmes humains et de systèmes informatiques : ils sont caractérisés par une diminution du sentiment de responsabilité personnelle et l’exécution d’actions par ailleurs autrement injustifiables, comme cela a déjà été étudié dans les milieux bureaucratiques. Par exemple, des algorithmes impliquant des parties prenantes représentant plusieurs disciplines différentes peuvent inciter chaque partie à supposer que les autres assumeront la responsabilité éthique des actions de l’algorithme. L’apprentissage automatique ajoute une strate de complexité supplémentaire entre les concepteurs et les actions dirigées par l’algorithme, ce qui peut affaiblir à juste titre la responsabilité imputée aux premiers.
Sécurité et résilience
La nécessité d’établir les responsabilités se ressent avec acuité en cas de défaut de fonctionnement des algorithmes. Les algorithmes contraires à l’éthique peuvent être envisagés comme des artefacts logiciels défaillants qui ne fonctionnent pas comme prévu. Des distinctions ont été utilement établies entre les erreurs de conception (types) et les erreurs opérationnelles (instances), ainsi qu’entre l’incapacité de fonctionner comme prévu (fonctionnement non conforme) et la présence d’effets secondaires non voulus (fonctionnement non voulu). Le fonctionnement non voulu se distingue des effets secondaires purement négatifs par son « évitabilité », c’est-à-dire la mesure avec laquelle des types comparables de systèmes ou d’artefacts accomplissent la fonction prévue sans qu’apparaissent les effets en question. Ces distinctions font la lumière sur les aspects éthiques des systèmes d’IA strictement liés à leur fonctionnement, soit dans l’abstrait (par exemple lorsque sont examinées des performances brutes), soit dans le cadre d’un système décisionnel plus large, et révèlent l’interaction multidimensionnelle qui existe entre le comportement voulu et le comportement réel. L’apprentissage automatique, notamment, pose des problèmes particuliers, car l’obtention du comportement voulu ou « correct » n’implique pas l’absence d’erreurs ni d’actions préjudiciables et de boucles de rétroaction.
Audit éthique
La question reste ouverte de savoir comment, de manière optimale, rendre opérationnels ces défis éthiques et fixer des normes de contrôle, s’agissant en particulier de l’apprentissage automatique. Se contenter de rendre transparent le code d’un algorithme ne suffit pas pour garantir un comportement éthique. Une voie envisageable pour réaliser l’interprétabilité, l’équité et atteindre d’autres objectifs éthiques dans les systèmes d’IA pourrait passer par un contrôle effectué par des processeurs de données, des régulateurs externes ou des chercheurs empiriques, en utilisant des études d’audit ex-post, des études ethnographiques réflexives portant sur la conception et les tests, ou des mécanismes de rapport conçus dans l’algorithme lui-même. Quel que soit le type d’IA, l’audit est une condition préalable nécessaire pour vérifier le bon fonctionnement. S’agissant des systèmes ayant un impact prévisible sur l’homme, l’audit peut créer un enregistrement procédural ex-post d’une prise de décision automatisée complexe, afin de rendre intelligibles les décisions problématiques ou inexactes, ou détecter des discriminations ou des préjudices analogues.