L'utilisation de systèmes d'IA à des fins éducatives peut conduire au traitement de données à caractère personnel, par exemple, d'enfants, d'étudiants universitaires, de personnes en situation de handicap, de personnes en formation professionnelle, d'apprenants tout au long de la vie, d'éducateurs ou de parents par divers acteurs, notamment les gouvernements nationaux, les établissements d'enseignement publics et privés, les entreprises commerciales telles que les fournisseurs de produits ou de services, les développeurs de logiciels et les particuliers tels que les enseignants, les tuteurs légaux et les camarades de classe. Le traitement des données à caractère personnel d'un enfant dans le cadre éducatif est particulièrement complexe en raison du contexte non-consensuel dans lequel il s'inscrit, ce qui peut avoir une incidence sur la nature librement consentie du consentement. En particulier, en règle générale, les enfants ne peuvent pas conclure de contrats[1]. L'utilisation de systèmes d'intelligence artificielle dans le contexte éducatif doit donc être examinée au regard de l'article 8 de la CEDH.

Le document CM/Rec(2018)7, qui fournit des "Lignes directrices relatives au respect, à la protection et à la réalisation des droits de l'enfant dans l'environnement numérique", reconnaît que les données à caractère personnel peuvent être traitées au profit des enfants, mais souligne que les États devraient prendre des mesures pour veiller à ce que les données à caractère personnel des enfants soient traitées de manière loyale, licite, précise et sécurisée, à des fins spécifiques et avec le consentement libre, explicite, éclairé et univoque des enfants et/ou de leurs parents, soignants ou représentants légaux, ou conformément à une autre base légitime prévue par la loi. Le principe de minimisation des données doit être respecté, ce qui signifie que le traitement des données à caractère personnel doit être adéquat, pertinent et non excessif au regard des finalités pour lesquelles elles sont traitées.[2]

Les États devraient veiller à ce que le traitement de catégories particulières de données, considérées comme sensibles, ne soit autorisé dans tous les cas que lorsque des garanties appropriées sont inscrites dans la loi. Le profilage des enfants, c'est-à-dire toute forme de traitement automatisé de données à caractère personnel consistant à appliquer un « profil » à un enfant, notamment pour prendre des décisions le concernant ou pour analyser ou prédire ses préférences personnelles, son comportement et ses attitudes, devrait être interdit par la loi. Dans des circonstances exceptionnelles, les États peuvent lever cette restriction lorsque cela est dans l'intérêt supérieur de l'enfant ou s'il existe un intérêt public supérieur, à condition que des garanties appropriées soient prévues par la loi. Le profilage doit également être exclu en ce qui concerne les jeunes et les adultes dans les contextes éducatifs. Les outils éducatifs basés sur des systèmes d'IA, tels que l'analyse en temps réel des salles de classe et le suivi de l'engagement des étudiants ou l'IA de contrôle qui surveille les étudiants par reconnaissance faciale et suivi comportemental, peuvent interférer avec le droit au respect de la vie privée. Cette préoccupation ne concerne pas seulement les enfants, mais aussi les étudiants adultes et le personnel éducatif soumis à une surveillance ou à une évaluation des performances au moyen de technologies similaires. Les personnes ne doivent pas être soumises à des ingérences arbitraires ou illégales dans leur vie privée. Toute ingérence doit être conforme à la loi, poursuivre un objectif légitime, être nécessaire dans une société démocratique et être proportionnée à l'objectif légitime poursuivi. Les mesures de surveillance ou d'interception, en particulier, doivent respecter ces conditions et faire l'objet d'un contrôle efficace, indépendant et impartial[3].