Le déploiement des systèmes d’IA – en tant que technologie émergente – ne sera ni immédiat ni universel dans tous les états membres ou systèmes de santé. L’ampleur du déploiement, sa vitesse, mais aussi la hiérarchisation des priorités sera inévitablement hétérogène dans les établissements et les régions. Les systèmes de télémédecine, par exemple, sont bien adaptés à la prestation de soins dans des endroits éloignés ou inaccessibles, ou en cas de pénurie de personnel de santé ou de spécialistes. Ils permettent de combler les lacunes dans la couverture des soins de santé, mais pas nécessairement avec des soins de qualité équivalente aux soins traditionnels en face à face. À court terme, les conséquences sur la relation médecin-patient pourraient donc être beaucoup plus importantes dans les zones où les pénuries de personnel étaient déjà un problème ou bien dans celles touchées par de nouvelles pénuries dues à la pandémie de Covid-19. La nature et l’intensité de ces conséquences restent à envisager.

Le déploiement inévitablement hétérogène de l’IA risque de provoquer des déséquilibres géographiques dans la performance des systèmes de soins de santé et des inégalités dans l’accès à des soins de qualité. Cela va dans les deux sens : si les systèmes d’IA améliorent la qualité des soins, en fournissant un diagnostic plus précis ou efficace, en élargissant l’accès aux soins ou en développant de nouvelles interventions pharmaceutiques et thérapeutiques, les patients traités dans les régions ou les établissements de santé qui feront partie des pionniers de l’IA bénéficieront de ces systèmes avant les autres. Les systèmes d’IA peuvent également être utilisés pour libérer les cliniciens des tâches subalternes qui demandent beaucoup de travail, comme la saisie de données, et leur permettre ainsi de consacrer plus de temps aux patients qu’auparavant.

Toutefois, ces avantages ne vont pas de soi. Les conséquences de l’IA sur les soins cliniques et la relation médecin-patient demeurent incertaines et varieront certainement selon les technologies et les situations. Les systèmes d’IA peuvent s’avérer plus efficaces que les soins prodigués par des êtres humains, mais aussi fournir des soins de moindre qualité avec moins d’interactions personnelles. Dans de nombreux domaines, l’IA est considérée comme un moyen prometteur pour réduire les coûts et les temps d’attente, ou pour combler les lacunes existantes dans la couverture des soins, lorsque l’accès aux professionnels et aux établissements de santé est limité. Les patients traités dans les « zones pionnières » recevront à tout le moins un type de soins différent, qui ne sera peut-être pas de la même qualité que les soins traditionnels prodigués par les professionnels de la santé.

Le déploiement hétérogène des systèmes d’IA, dont les conséquences sur l’accès et la qualité des soins sont incertaines, risque de créer de nouvelles inégalités en matière de santé dans les états membres. Il se peut que les régions qui ont toujours connu des problèmes relatifs à la faible qualité des soins ou à l’inégal accès à ces derniers soient considérées comme des bancs d’essai clés pour la prestation de soins facilités par l’IA. Les patients de ces régions pourraient accéder plus aisément aux systèmes d’IA, tels que les robots conversationnels ou la télémédecine, mais continuer à avoir un accès limité aux soins prodigués par des êtres humains ou aux consultations cliniques en face à face. La probabilité que ce risque se matérialise dépend largement du rôle stratégique accordé aux systèmes d’IA. Si l’on considère que les systèmes d’IA peuvent être un moyen de remplacer les soins en face-à-face plutôt qu’un moyen de libérer du temps aux cliniciens, l’augmentation des inégalités dans l’accès aux soins fournis par des êtres humains semble inévitable.

L’article 4 de la Convention d’Oviedo renvoie à l’obligation qu’ont les professionnels de la santé de prodiguer des soins en respectant des normes professionnelles. Or, il n’est pas clair si les développeurs, les fabricants et les fournisseurs de services pour les systèmes d’IA seront tenus de respecter les mêmes normes professionnelles. Le rapport explicatif de la Convention soulève cette question indirectement, en notant que « de l’expression "normes et obligations professionnelles", [il ressort que l’article 4] ne concerne pas les personnes qui, sans être des professionnels de la santé, sont appelées, par exemple dans une situation d’urgence, à exécuter des actes de nature médicale. » Ainsi, un robot conversationnel conçu pour le triage initial des patients peut-il être considéré comme une « personne » exécutant un « acte médical »[4] ? Si ce n’est pas le cas, comment garantir l’intervention d’un professionnel de la santé qui respecte ces normes de façon appropriée ?

Toute réduction des actes de surveillance ou de soins cliniques prodigués par des professionnels de la santé en raison du déploiement de systèmes d’IA pourrait donc potentiellement être considérée comme une violation de l’article 4. En particulier, les modèles de soins qui intègrent des robots conversationnels ou d’autres agents artificiels conçus pour fournir des soins ou soutenir directement les patients sembleraient présenter ce risque. Au moment d’intégrer des systèmes d’IA qui interagissent directement avec les patients, il convient d’examiner attentivement le rôle joué par les professionnels de la santé, lesquels sont tenus de respecter des normes professionnelles.

L’IA pose la question de notions de responsabilité en termes connus et nouveaux. Les systèmes auxquels nous confions de plus en plus le soin de prendre des décisions et de formuler des recommandations susceptibles de changer le cours de nos vies, reposent sur les avancées technologiques dans le temps, mais ils sont numériques, distribués et souvent imperceptibles. Lorsque sont prises des décisions importantes dont les effets se répercutent sur les moyens d’existence et le bien-être des personnes, on s’attend pour le moins à ce que le fondement rationnel ou les raisons de ces décisions soient compréhensibles.

Cette attente se reflète dans l’article 5 de la Convention d’Oviedo qui réaffirme le droit des patients au consentement éclairé avant toute intervention ou recherche médicale. Le Rapport explicatif de la Convention d’Oviedo dresse une liste non exhaustive des informations à fournir à la personne concernée. L’une des exigences primordiales est que les informations doivent être communiquées aux patients d’une manière aisément compréhensible afin de garantir qu’elles puissent éclairer utilement leurs décisions. Habituellement, cela imposerait que soient posées des exigences sur la manière dont les professionnels de la santé expliquent leurs décisions et leurs recommandations aux patients. Dans les cas où les systèmes d’IA fournissent une certaine forme d’expertise clinique, par exemple en recommandant un diagnostic particulier ou en interprétant des images médicales, l’obligation d’expliquer la décision serait apparemment transférée du médecin au système d’IA, ou du moins au fabricant du système d’IA.

Les difficultés à expliquer comment les systèmes d’IA transforment les données d’entrée en données de sortie posent un défi épistémologique fondamental pour le consentement éclairé. Si l’on met de côté la capacité du patient à comprendre les fonctionnalités des systèmes d’IA, dans de nombreux cas, les patients n’ont tout simplement pas un niveau de connaissances suffisant pour donner un consentement libre et éclairé. Les systèmes d’IA utilisent des volumes de données sans précédent pour prendre leurs décisions et interprètent ces données à l’aide de techniques statistiques complexes. Dès lors, il est de plus en plus difficile de mesurer l’ampleur du traitement des données utilisées pour les diagnostics et les traitements.

En pratique, les exigences de transparence permettant de s’assurer d’un consentement éclairé peuvent s’obtenir de plusieurs manières. En supposant que le médecin reste le principal point de contact du patient, il peut être considéré comme un médiateur entre ce dernier et le système d’IA. Dans ce modèle de médiation, le médecin peut recevoir une explication du système d’IA et agir ensuite comme un « traducteur » pour le patient, en « traduisant » l’explication du système dans un format adapté et facilement compréhensible. Lorsque les médecins n’agissent pas en tant que médiateurs, par exemple lorsque les robots conversationnels assurent le triage des patients ou leur fournissent un diagnostic directement, on pourrait alors exiger que les systèmes d’IA expliquent leur prise de décision directement aux patients.

Ces deux modèles posent des difficultés pour l’explication des comportements complexes de systèmes de type « boîte noire » à des utilisateurs experts ou non. Au minimum, les systèmes d’IA qui interagissent directement avec les patients devraient leur indiquer qu’ils sont des systèmes artificiels. La question de savoir si l’utilisation de systèmes d’IA dans le secteur de la santé doit être communiquée aux patients par les cliniciens et les établissements de santé est plus difficile.

Une préoccupation qui revient souvent concernant l’IA utilisée à des fins opérationnelles par les hôpitaux – qui recourent par exemple à des outils de stratification du risque et de planification des sorties –, est le fait que les patients ne sont pas informés de l’utilisation de l’IA dans le cadre de leur prise en charge.

D’une part, les professionnels de la santé consultent régulièrement de nombreuses sources d’information pour diagnostiquer la maladie et traiter les patients, comme des modèles, des graphiques, des radiographies, etc., qu’ils ne communiqueraient pas ou dont ils ne discuteraient pas de manière proactive dans le cadre du consentement éclairé. D’autre part, les systèmes d’IA qui fournissent une expertise clinique, par exemple en interprétant des images médicales et en recommandant une classification des anomalies, peuvent constituer un type d’information qualitativement différent des sources qui entrent traditionnellement en ligne de compte dans la prise de décision clinique.

Néanmoins, dans la pratique, les systèmes d’IA utilisés pour aider les soins cliniques et stratifier les risques parmi les patients sont souvent traités comme des technologies purement opérationnelles plutôt que cliniques. De nombreux établissements de santé affirment y avoir recours pour améliorer la qualité et l’efficacité des soins, et non pour assoir la prise de décision clinique. À cet égard, les systèmes d’IA peuvent être considérés comme équivalents aux systèmes administratifs utilisés dans les hôpitaux pour le traitement des données des patients, et non pour leurs soins immédiats. Bien entendu, tous les établissements de santé ne considèrent pas les systèmes de prédiction du risque basés sur l’IA comme purement opérationnels ; dans certains cas, il est demandé aux patients de consentir explicitement à l’utilisation d’un système d’IA conçu pour identifier les patients qui risquent de mourir dans les 48 heures. Nous reviendrons sur les recommandations concernant la communication d’informations sur l’utilisation des systèmes d’IA dans le chapitre intitulé « Registre public des systèmes d'IA médicale pour la transparence ».

Indépendamment de la question de savoir si certaines technologies d’IA doivent être classées comme cliniques ou opérationnelles/administratives, il existe des questions pertinentes concernant l’intelligibilité des systèmes de type « boîte noire » à un niveau plus fondamental. Par rapport à la prise de décision humaine et organisationnelle, l’IA pose un défi unique. La structure interne d’un modèle d’apprentissage automatique peut être constituée de millions de caractéristiques reliées dans un réseau complexe de comportements dépendants les uns des autres. Faire comprendre cette structure interne et ces relations de dépendance d’une manière intelligible pour l’homme est extrêmement difficile. La façon dont les systèmes d’IA prennent des décisions peut donc s’avérer trop complexe pour que des êtres humains puissent bien comprendre l’ensemble des critères de décision ou le raisonnement sur lesquels ils reposent.

En supposant que l’exigence de transparence qui sous-tend le consentement éclairé est une valeur essentielle dans la relation médecin-patient facilitée par l’IA, le défi que pose l’opacité soulève une question : comment les systèmes d’IA doivent-ils rendre des comptes aux médecins et aux patients ? Pour répondre à cette question, commençons par examiner différents types de questions sur les systèmes d’IA qui vont nous permettre de les rendre compréhensibles.

Comment fonctionne un système ou un modèle d’IA ? Comment un système d’IA produit-il un résultat spécifique ?

Ce sont des questions d’intelligibilité. Elles concernent les fonctionnalités internes et les comportements externes d’un système d’IA. Un modèle entièrement intelligible est un modèle compréhensible par l’homme, ce qui signifie qu’un être humain peut comprendre l’ensemble des causes d’un résultat donné. Les modèles faiblement intelligibles « sont opaques en ce sens que si l’on reçoit le résultat de l’algorithme – par exemple, une décision de classification –, on a rarement une idée concrète de comment ou pourquoi cette classification particulière a été obtenue à partir des données d’entrée ». L’intelligibilité peut également être définie en termes de prévisibilité du modèle : un modèle est intelligible si une personne bien informée peut prévoir de manière cohérente ses résultats et ses comportements. Les questions relatives au comportement d’un modèle portent essentiellement sur la manière dont un résultat ou un comportement particulier du modèle s’est produit. Cependant, le comportement d’un modèle peut également être interprété de manière large de façon à y inclure les effets sur les établissements et les utilisateurs dignes de confiance et leurs décisions influencées par l’IA ; par exemple, il est pertinent de se demander comment le diagnostic d’un médecin a pu être influencé par la recommandation d’un système expert.

Comment un système d’IA a-t-il été conçu et testé ? Comment est-il régi ?

Ce sont des questions de transparence. Contrairement à l’intelligibilité, la transparence ne concerne pas les fonctionnalités ou le comportement du système d’IA lui-même, mais plutôt les processus impliqués dans la conception, le développement, les tests, le déploiement et la réglementation du système d’IA. La transparence exige principalement que soient communiquées des informations sur les institutions et les personnes qui créent et utilisent les systèmes d’IA, ainsi que sur les structures de réglementation et de gouvernance qui contrôlent à la fois les institutions et les systèmes. Ici, l’intelligibilité joue un rôle complémentaire de soutien. Des modèles ou des explications compréhensibles relatives aux décisions spécifiques prises par un système peuvent, par exemple, être nécessaires aux organes de contrôle pour auditer efficacement l’IA et s’assurer que les exigences réglementaires sont respectées dans chaque contexte d’utilisation.

Quelles informations sont nécessaires pour enquêter sur le comportement des systèmes d’IA ?

Il s’agit d’une question de traçabilité. Pour évaluer le comportement des systèmes d’IA, certains éléments sont nécessaires, notamment « les jeux de données et les processus permettant au système d’IA de rendre une décision, y compris les processus de collecte et d’étiquetage de données, ainsi que les algorithmes utilisés ». Ces données doivent être systématiquement enregistrées lors du fonctionnement du système pour permettre une gouvernance efficace. La traçabilité est donc une exigence fondamentale pour l’audit a posteriori et les explications du comportement du modèle ; sans les bonnes données, les explications ne peuvent être dégagées après qu’un modèle a produit une décision ou un autre résultat.

Les réponses à chacune de ces questions peuvent être nécessaires pour obtenir un consentement éclairé dans le cadre de soins facilités par l’IA. Cela ne signifie pas que chacune des questions doit obtenir des réponses de la part du patient et du professionnel de la santé ; il se peut plutôt que certaines questions soient mieux orientées vers le patient ou vers le professionnel de la santé. Par exemple, les patients peuvent être plus directement concernés par des questions sur la démarche utilisée pour décider de leur cas ou sur la manière dont une recommandation ou un diagnostic a été établi. Les questions concernant la façon dont les systèmes d’IA ont été conçus et testés, et comment ils sont sécurisés et validés au fil du temps, peuvent être plus pertinentes pour les professionnels de la santé et les administrateurs qui doivent évaluer la fiabilité d’un système en termes d’intégration de celui-ci dans les processus de décisions cliniques et opérationnelles existants. Comme nous l’avons indiqué dans le chapitre intitulé « Cadre théorique de la relation médecin-patient », l’idéal du consentement éclairé est une composante de la relation médecin-patient qui nécessite une discussion entre le patient et le professionnel de la santé sur les options de traitement possibles, les valeurs, etc. Le fait de diriger certaines explications vers les parties les mieux à même de les comprendre, ou les plus directement intéressées, ne sape pas obligatoirement les idéaux de transparence ou de consentement éclairé. Au contraire, cela peut favoriser un dialogue constructif entre le patient et le médecin sur les options de soins facilités par l’IA.

Comme nous l’avons vu au chapitre intitulé « Les défis éthiques communément rencontrés en matière d’IA », en un sens, les systèmes d’IA sont inéluctablement biaisés. De nombreux biais sont dus à des raisons techniques. Un décalage peut ainsi exister entre l’étape d’entraînement et celle des tests. Les développeurs et les fabricants de systèmes d’IA conçoivent inévitablement des systèmes qui reflètent leurs valeurs ou les exigences réglementaires; cela peut aussi être considéré comme un type de biais qui variera selon les fabricants et les états membres. Toutefois, dans les systèmes d’IA, les décisions biaisées et injustes ne sont souvent pas le produit de raisons techniques ou réglementaires, mais traduisent plutôt des biais sociaux et les inégalités sociales sous-jacentes.

Ces types de biais sociaux sont préoccupants pour plusieurs raisons.

• Premièrement, ils peuvent nuire à la précision des modèles d’une population ou d’un groupe démographique à l’autre. De nombreux biais peuvent être attribués à des jeux de données qui ne sont pas représentatifs de la population visée par un système. En médecine, il existe des lacunes cruciales en matière de données qui pourraient être comblées si les ressources, l’accès ou la motivation n’étaient pas limités. Les essais cliniques et les études sur la santé sont principalement réalisés sur des hommes blancs, ce qui signifie que les résultats sont moins susceptibles de s’appliquer aux femmes et aux personnes de couleur. Il existe un manque de données grave et dangereux car de nombreux modèles cliniques traitent les femmes comme des « petits hommes » et ne tiennent donc pas compte des différences biologiques entre les hommes et les femmes. Par exemple, un pourcentage différent de graisse corporelle, une peau plus fine, un système hormonal différent, des niveaux d’hormones changeant tout au long du cycle menstruel, avant la puberté et après la ménopause, sont des facteurs qui déterminent l’efficacité des médicaments ou la mesure dans laquelle nous sommes touchés par les toxines ou les impacts environnementaux.
• Deuxièmement, les biais sociaux peuvent conduire à une distribution inégale des résultats entre les populations ou les groupes démographiques protégés. Ce type d’inégalité est particulièrement grave dans le contexte de la médecine, car il a une incidence sur les biens fondamentaux : « toute erreur dans le fonctionnement d’un algorithme peut amener à prescrire un traitement inadapté et mettre en danger non seulement la santé, mais aussi la vie de groupes entiers de la population ». De vastes pans des sociétés occidentales font actuellement face à des préjugés et à des inégalités de taille que l’on retrouve dans des décisions historiques et qui peuvent influencer la formation de futurs systèmes. Les tendances observées en matière de prise de décision ont jusqu’à présent conduit à renforcer l’inégalité des chances entre certains groupes. Sans intervention, les systèmes d’IA apprendront et renforceront ces modèles préexistants qui favorisent l’inégalité des chances et l’inégal accès aux ressources dans la société.

Comme indiqué, l’article 14 de la CEDH interdit la discrimination. L’égalité est une valeur essentielle qui sous-tend les droits de l’homme. Toutefois, il est extrêmement difficile de parvenir à une égalité réelle ou à des « règles du jeu équitables » dans la pratique. En ce qui concerne l’IA, la partialité des données et les boucles de rétroaction sont des défis majeurs auxquels il faut s’attaquer pour faire en sorte que les systèmes n’exacerbent pas les inégalités existantes et ne créent pas de nouvelles formes de discrimination qui iraient à l’encontre de l’article 14. L’Assemblée parlementaire du Conseil de l’Europe a reconnu le risque de biais à cet égard, notant que « les États membres du Conseil de l’Europe devraient participer plus activement au développement d’applications de l’IA pour les services de santé, ou du moins faire valoir leur souveraineté pour imposer un mécanisme de filtrage et d’autorisations préalable à leur déploiement. L’implication des états aiderait aussi à garantir que ces applications soient alimentées par un volume suffisant de données sans parti pris et dûment protégées ».

En ce qui concerne la partialité des jeux de données, le fait de concevoir le biais uniquement comme une propriété des jeux de données est insuffisant pour parvenir à une égalité réelle dans la pratique. En supposant qu’il soit possible de créer un jeu de données qui restitue parfaitement les biais et les inégalités existant dans la société, l’entraînement d’un modèle avec ce jeu de données ne ferait rien pour corriger les inégalités qu’il met en évidence. Au contraire, de telles garanties ne peuvent être fournies que si l’on procède également à l’examen, au test et, peut-être, à la correction des biais dans le système d’IA qui a été formé et ses résultats.

Concernant les boucles de rétroaction, un système d’IA peut aggraver considérablement la situation de groupes déjà défavorisés en renforçant les biais sociaux qu’il a appris. Cependant, éviter simplement le renforcement des biais et des inégalités, ou veiller à ce que les systèmes d’IA n’aggravent pas le statu quo, ne permet pas d’atteindre une égalité réelle dans la pratique. Il faut au contraire examiner de manière critique l’acceptabilité des inégalités existantes et prendre des mesures pour améliorer positivement la situation des groupes défavorisés. De même, les systèmes d’IA peuvent créer de nouvelles formes de discrimination plutôt que de simplement renforcer les inégalités et les biais existants. Le déploiement de l’IA en médecine doit tenir compte à la fois de la nécessité d’une action critique positive et de la possibilité de nouvelles formes de discrimination alimentées par l’IA.

La détection des biais dans les systèmes d’IA n’est pas simple. Des règles biaisées en matière de prise de décision peuvent être cachées dans des modèles de type « boîte noire ». D’autres biais peuvent être détectés en examinant les résultats des systèmes d’IA pour y déceler des distributions inégales entre les groupes démographiques ou les populations concernées. Cependant, accéder à l’ensemble des décisions ou des résultats d’un système n’est pas forcément simple, ne serait-ce qu’en raison des normes de protection des données ; « certaines restrictions dans l’utilisation des données de santé à caractère personnel peuvent empêcher d’établir des rapprochements essentiels entre les données et causer des distorsions, voire des erreurs, dans les analyses reposant sur l’IA ». Cela nous permet au moins d’affirmer que la simple anonymisation des données de santé peut ne pas être une solution adéquate pour atténuer les biais ou corriger leurs effets en aval. Même lorsque des ensembles de décisions sont accessibles, il se peut aussi que l’on manque de données démographiques pour certaines populations, ce qui signifie que la recherche de biais ne peut pas mesurer la distribution des groupes protégés par la loi.

À en juger par ces divers problèmes de biais social, de discrimination et d’inégalité, les professionnels et les établissements de santé font face à une tâche difficile, à savoir veiller à ce que leur utilisation des systèmes d’IA n’aggrave pas les inégalités existantes et ne crée pas de nouvelles formes de discrimination. La lutte contre les biais sociaux est un défi à multiples facettes. Cette lutte doit reposer sur des normes robustes de détection et de test des biais, des normes de collecte et de conservation de haute qualité pour les jeux de données de formation et de test, et des tests au niveau individuel pour veiller à ce que les résultats et les recommandations fournis aux patients ne soient pas principalement déterminés par des caractéristiques protégées par la loi. Si l’on ne parvient pas à mettre en œuvre des normes rigoureuses en matière de test des biais, on risque d’exacerber les inégalités en matière de soins assistés par l’IA et de compromettre leur fiabilité. Ces risques sont particulièrement graves dans le contexte actuel des inégalités en matière d’accès à des soins de qualité, où le déploiement de l’IA peut être accéléré pour des raisons d’efficacité et d’allocation des ressources plutôt que pour des considérations purement cliniques.

Traditionnellement, les soins cliniques et la relation médecin-patient reposent idéalement sur une évaluation de l’état du patient par le médecin, qui tient compte de son environnement et de ses antécédents médicaux. Ce type d’évaluation est difficilement reproduit dans les soins facilités par les technologies. Les représentations des données du patient le réduisent nécessairement à des caractéristiques chiffrées. Des problèmes peuvent surgir lorsque les évaluations cliniques s’appuient de plus en plus sur des représentations des données, construites par exemple par des technologies de télésurveillance, ou sur d’autres données qui n’ont pas été recueillies lors de rencontres en face à face. Les représentations des données du patient peuvent être considérées comme une mesure « objective » de la santé et du bien-être de ce dernier, mais elles réduisent l’importance des facteurs contextuels de la santé ou de la vision du patient en tant que personne socialement incarnée. Les représentations des données peuvent créer un semblant de certitude, dans lequel les données de suivi « objectives » sont considérées comme une représentation fidèle de la situation du patient, alors qu’elles perdent de vue le contexte interpersonnel du patient et d’autres connaissances tacites.

Les professionnels de la santé font face à cette difficulté lorsqu’ils tentent d’intégrer les systèmes d’IA dans les soins de santé courants. La quantité et la complexité des données et des recommandations issues des technologies en ce qui concerne l’état d’un patient font qu’il est difficile de détecter l’absence d’informations contextuelles importantes. S’en remettre aux données recueillies par les « applications de santé » ou les technologies de surveillance (par exemple, les montres intelligentes) et traiter ces données comme la principale source d’information sur la santé d’un patient, par exemple, peut faire passer sous silence des aspects de sa santé qui sont difficiles à surveiller. Ces aspects incluent des éléments essentiels de la santé mentale et du bien-être du patient, tels que son état social, mental et émotionnel. Il peut en résulter une « décontextualisation » de l’état du patient, qui perd un certain contrôle sur la manière dont son état est présenté et compris par les cliniciens et les soignants.

Toutes ces possibilités laissent supposer que la prestation de soins au moyen des technologies risque de limiter les rencontres entre le médecin et le patient, grâce auxquelles se crée habituellement la confiance nécessaire à la relation médecin-patient. Les technologies qui nuisent à la transmission des « signaux psychologiques et des émotions » peuvent empêcher le médecin de connaître l’état du patient, ce qui compromet « l’établissement d’une relation médecin-patient fondée sur la confiance et la guérison ». Les prestataires de soins, en plus d’appliquer leurs connaissances de la médecine au cas du patient, peuvent être moins à même de faire preuve de compréhension, de compassion et d’autres traits souhaitables que l’on retrouve dans les « bonnes » interactions médicales. De par leur rôle de médiateur entre le médecin et le patient, les systèmes d’IA modifient les liens entre les cliniciens et les patients en confiant à un système technologique une partie des soins continus du patient. L’augmentation de la distance entre les professionnels de la santé et les patients semble réduire les possibilités de développer une compréhension tacite de la santé et du bien-être du patient.

Comme nous l’avons vu au chapitre intitulé « Les défis éthiques communément rencontrés en matière d’IA », l’introduction de systèmes d’IA dans les soins cliniques présente un risque de biais d’automatisation, ce qui signifie que les cliniciens peuvent faire confiance aux résultats ou aux recommandations des systèmes d’IA non pas en raison de leur efficacité clinique prouvée, mais plutôt sur la base de l’objectivité, de la précision ou de la complexité perçues. Tout déploiement de systèmes d’IA conçus pour améliorer la prise de décision humaine par des recommandations, des avertissements ou des interventions similaires risque d’introduire un biais d’automatisation. Les travaux empiriques sur le phénomène sont quelque peu naissants, mais une étude récente a montré comment même les décideurs experts peuvent être enclins à des biais d’automatisation au fil du temps pour des raisons problématiques (par exemple, le coût d’un système d’IA en tant qu’indicateur d’exactitude ou d’égalité). Le Conseil de l’Europe a clairement reconnu le risque de biais d’automatisation en appelant les états membres à garantir que « les applications de santé reposant sur l’IA ne remplacent pas complètement le jugement humain, et donc que les décisions prises avec l’IA dans le cadre des soins de santé professionnels sont toujours validées par des professionnels de santé dûment formés ».

Les systèmes d’IA utilisés comme des prestataires de soins cliniques ou des systèmes de diagnostic experts peuvent freiner le développement des compétences, des communautés professionnelles et des normes de « bonnes pratiques » en médecine. Ce phénomène de « perte de compétences » va à l’encontre de ce que l’OMS appelle « l’IA centrée sur l’humain », qui appuie et accroît l’expertise humaine et le développement des compétences, plutôt que de les saper ou de les remplacer. Les professionnels de la santé développent des normes éthiques et de bonne pratique à travers leurs expériences de l’exercice de la médecine. Pour définir les normes, les praticiens peuvent s’appuyer sur la sagesse pratique développée grâce à leur expérience. Les membres du corps médical forment une communauté qui partage des obligations morales et des objectifs communs. Les normes éthiques ou internes d’une pratique contribuent à garantir la réalisation de ses objectifs dans le temps en luttant contre l’influence des institutions et de critères externes. L’élaboration, le maintien et l’application de ces normes peuvent être déplacés par la prestation de soins au moyen des technologies.

Il s’ensuit que le développement, le maintien et l’application des normes internes nécessaires pour respecter les obligations morales envers les patients peut être compromis lorsque les soins sont facilités par des technologies, et donc prodigués en partie par des institutions et des individus non professionnels. Il est possible que les systèmes algorithmiques déplacent les responsabilités traditionnellement assumées par les professionnels de la santé, tout en fournissant des soins plus efficaces ou « meilleurs » en termes de coût-bénéfice uniquement. Afin d’éviter la détérioration des soins médicaux qui sont globalement de qualité, et pas seulement techniquement « efficaces », ces obligations morales de servir et de respecter les patients en premier lieu doivent être prises au sérieux par les nouveaux prestataires de soins et de services qui ne font pas partie des communautés médicales traditionnelles. En d’autres termes, les soins reposant sur l’IA peuvent créer un fossé en matière de compétences professionnelles et de responsabilité.

La perte de compétences et le biais d’automatisation présentent également des risques directement pour les patients. L’un des rôles de l’expertise clinique humaine est de protéger les intérêts et la sécurité des patients. Les risques pour la sécurité proviennent de sources diverses, notamment les « attaques malveillantes sur les logiciels, [la] conception non éthique du système ou [sa] défaillance involontaire, la perte de contrôle humain et l’ « exercice irresponsable du pouvoir conféré par le numérique » peuvent entraîner des « dommages matériels pour la santé humaine, les biens et l’environnement ».

Si cette expertise humaine est amoindrie par la perte de compétences ou déplacée par le biais d’automatisation, les tests et les preuves d’efficacité clinique doivent venir combler les lacunes pour garantir la sécurité des patients. Un compromis similaire existe en ce qui concerne l’opacité et la précision ; certains chercheurs ont fait valoir que les systèmes de santé reposant sur l’IA ne doivent pas nécessairement être explicables si leur précision et leur efficacité clinique peuvent être validées de manière fiable. Dans les deux cas, la protection des intérêts vitaux des patients, ou les obligations déontologiques (fudiciary duties) généralement assumées par les professionnels de la santé, sont transférées aux fournisseurs de systèmes d’IA ou aux systèmes eux-mêmes.

Par conséquent, en vue de remplacer la protection offerte par l’expertise clinique humaine tout en continuant à garantir la sécurité des patients, des normes de test et de validation robustes sont nécessaires dans le pré-déploiement des systèmes d’IA dans le contexte de soins cliniques. Ces normes devraient également aborder les aspects non cliniques complémentaires de la sécurité, tels que la cybersécurité, les dysfonctionnements et la résilience. Bien qu’il s’agisse d’une conclusion apparemment évidente, l’existence de telles normes et les preuves de leur respect ne peuvent être considérées comme allant de soi. Comme nous l’avons vu au chapitre intitulé « Vue d’ensemble des technologies de l’IA en médecine », il n’existe pas encore de preuves de l’efficacité clinique de nombreuses technologies d’IA dans le domaine des soins de santé, ce qui a constitué, à juste titre, un obstacle à leur déploiement à grande échelle.

Un sujet connexe mais tout aussi important concerne la responsabilité en cas de dysfonctionnement et d’effets néfastes de l’IA. Comme nous l’avons vu au chapitre intitulé « Vue d’ensemble des technologies de l’IA en médecine », la responsabilité distribuée est un défi à la fois moralement et juridiquement difficile à relever. L’Assemblée parlementaire du Conseil de l’Europe a reconnu la nécessité de clarifier la responsabilité des parties prenantes de l’IA, notamment « des développeurs aux autorités de réglementations, et des intermédiaires aux utilisateurs (notamment les pouvoirs publics, les professionnels de santé, les patients et le grand public). » Les états membres du Conseil de l’Europe sont appelés « à élaborer un cadre juridique pour clarifier la responsabilité des parties prenantes dans la conception, le déploiement, l’entretien et l’utilisation des applications de l’IA en rapport avec la santé (y compris pour les dispositifs médicaux implantables et portables) dans le contexte national et pan-européen, redéfinir la responsabilité des acteurs pour les risques et préjudices émanant et assurer que les structure de gouvernance et des forces de l’ordre soient en place pour garantir la mise en œuvre de ce cadre juridique ». Le Comité d’experts du Conseil de l’Europe sur la dimension droits de l’homme des traitements automatisés de données et différentes formes d’intelligence artificielle (MSI-AUT), dans un rapport datant de 2019, a exploré les défis spécifiques liés à la responsabilité et aux lacunes en matière de responsabilité dans l’IA de manière beaucoup plus détaillée que ce qui est possible ici.

L’IA pose plusieurs problèmes spécifiques liés au droit à la vie privée et aux réglementations complémentaires en matière de protection des données. Comme indiqué dans le chapitre intitulé « La Convention d’Oviedo et les principes des droits de l’homme en matière de santé », le Conseil de l’Europe est en train de ratifier les amendements à la Convention pour la protection des personnes à l’égard du traitement automatisé des données à caractère personnel (STE no 108 et STCE no 223). Ces droits supplémentaires visent à faire bénéficier les individus d’une plus grande transparence et d’un meilleur contrôle sur les formes automatisées de traitement des données. Ces droits apporteront sans aucun doute une protection précieuse aux patients dans toute une série d’utilisation de l’IA médicale.

L’utilisation des données des patients pour l’entraînement et les tests des systèmes d’IA constitue un défi particulier, propre à l’IA et qui mérite d’être examiné de plus près. La confidentialité dans la relation médecin-patient est une valeur essentielle pour protéger le droit à la vie privée. Dans le même temps, le développement, le déploiement et l’utilisation accrus des systèmes d’IA dans le domaine des soins de santé peut accroître la nécessité de créer ou de conserver des jeux de données de patients réels de haute qualité pour entraîner et tester les systèmes. L’innovation peut menacer la vie privée et la confidentialité de deux manières. Premièrement, il pourrait y avoir une plus grande pression pour réaffecter et accorder à des tiers l'accès à des données de patients (dépersonnalisées) et à des dossiers médicaux électroniques pour tester et développer des systèmes d'IA.

Deuxièmement, les cliniciens peuvent être encouragés à prescrire des examens et des analyses supplémentaires non pas pour leur valeur clinique, mais plutôt en raison de leur utilité pour entraîner ou tester des systèmes d’IA. Cela a des implications à la fois en termes d’augmentation des coûts des soins de santé, mais aussi d’exposition des patients à des risques inutiles de fuite de données ou d’autres atteintes à la vie privée. La Convention d’Oviedo prévoit une application spécifique du droit à la vie privée (article 8 de la CEDH) qui reconnaît la nature particulièrement sensible des informations personnelles relatives à la santé et établit un devoir de confidentialité pour les professionnels de la santé. Toute production de données dont la valeur clinique est discutable ou qui est clairement motivée par son utilité de test ou de développement de systèmes d’IA violerait apparemment la définition du droit à la vie privée de la Convention.

On peut en déduire que lorsqu’il existe un besoin légitime de données réelles pour tester et entraîner des systèmes d’IA, les intérêts en matière d’innovation et d’efficacité ou de qualité des soins doivent être mis en balance avec les intérêts individuels du patient en matière de vie privée et de confidentialité. Si cet équilibre n’est pas atteint, la confiance entre les patients et les prestataires de soins risque d’être ébranlée. Cette perte de confiance ne serait alors pas le fait d’une utilisation inadéquate de l’IA lors de rencontres cliniques individuelles, mais plutôt d’une incapacité institutionnelle à protéger les intérêts du patient en matière de vie privée et de confidentialité au niveau institutionnel. Au minimum, toute utilisation de dossiers médicaux de patients à des fins d’entraînement et de test des systèmes d’IA devrait être assortie de solutions techniques adaptées pour renforcer la confidentialité et l’anonymisation, telles que la confidentialité différentielle (qui introduit un « bruit » statistique pour empêcher l’identification d’une personne particulière dans un jeu de données).