Le manque de transparence, d'explicabilité et d'interprétabilité des systèmes d'IA (le « problème de la boîte noire ») présente des risques dans le contexte de l'éducation. Si un système d'IA fait des recommandations sur le parcours d'apprentissage d'un enfant ou fournit des recommandations qui peuvent avoir des conséquences à long terme sur le développement de l'enfant, les enseignants et les parents doivent être en mesure de comprendre le raisonnement qui sous-tend ses décisions, y compris les paramètres utilisés, et avoir la possibilité de les évaluer et de les annuler si nécessaire. De même, les systèmes d'IA utilisés pour les admissions ou les examens pourraient avoir des conséquences importantes sur les possibilités d'éducation et les perspectives d'avenir des titulaires de droits. L'opacité de l'IA peut également rendre difficile l'obtention d'un consentement véritablement éclairé ou la contestation de ses décisions et résultats[1]. Le consentement doit être donné librement sans ambiguïté et pouvoir être refusé sans préjudice[2]. Des niveaux de transparence suffisants doivent être garantis. Il en va de même pour les apprenants adultes.

Les États membres devraient également veiller à la mise en œuvre effective de leurs au titre de l'article 13 de la CEDH afin de garantir le droit des enfants et des apprenants adultes à un recours effectif lorsque leurs droits humains et leurs libertés fondamentales ont été violés par l'utilisation de systèmes d'intelligence artificielle dans le contexte éducatif.

En particulier pour les enfants, cela implique la mise à disposition de moyens disponibles, connus, accessibles, abordables et adaptés aux enfants, par lesquels les enfants, ainsi que leurs parents ou représentants légaux, peuvent déposer des plaintes et demander réparation. Les recours effectifs peuvent comprendre, en fonction de la violation en question, une enquête, une explication, une réponse, une correction, une procédure, le retrait immédiat du contenu illicite, des excuses, une réintégration, une reconnexion et une indemnisation[3]. Les États devraient également veiller à ce que, dans tous les cas, l'accès aux tribunaux ou le contrôle judiciaire des recours administratifs et autres procédures soient disponibles, conformément aux principes énoncés dans les Lignes directrices du Comité des Ministres du Conseil de l'Europe sur une justice adaptée aux enfants (2010).