¿Cuáles son los principales desafíos a la hora de abordar la discriminación provocada por la inteligencia artificial y los sistemas automatizados de toma de decisiones? ¿Cómo podrían reforzarse los marcos de gobernanza? ¿Qué papel pueden desempeñar las autoridades públicas, los organismos de igualdad y las instituciones de derechos humanos para prevenir la discriminación y garantizar la reparación?
Estas cuestiones constituyeron el eje central de un reciente acto en línea organizado por el Consejo de Europa. Durante el seminario web se presentaron dos nuevas publicaciones: «Legal protection against algorithmic discrimination in Europe: current frameworks and remaining gaps» («Protección jurídica contra la discriminación algorítmica en Europa: marcos actuales y lagunas por resolver») y «European policy guidelines on AI and algorithm-driven discrimination for equality bodies and other national human rights structures» («Directrices políticas europeas sobre discriminación basada en IA y algoritmos para los organismos de igualdad y otras estructuras nacionales de derechos humanos»).
El sesgo algorítmico agrava las desigualdades sociales existentes
La inteligencia artificial impregna cada vez más los distintos aspectos de nuestra vida cotidiana, lo que plantea importantes desafíos para la protección de los derechos fundamentales. La discriminación algorítmica se perfila como una preocupación especialmente acuciante. Los estudios han demostrado que el sesgo algorítmico no solo refleja las desigualdades sociales existentes, sino que también las agrava.
En el empleo, los algoritmos de selección entrenados a partir de datos históricos de contratación podrían favorecer injustamente a los candidatos masculinos, al reproducir decisiones de contratación anteriores sesgadas por estereotipos discriminatorios contra las mujeres o los grupos minoritarios. Algunas de las herramientas de elaboración de perfiles utilizadas por los organismos públicos de empleo para ayudar a decidir sobre la asignación de recursos a los solicitantes de empleo se han considerado discriminatorias. La IA y los sistemas automatizados de toma de decisiones son utilizados habitualmente por las fuerzas de seguridad, pero los estudios muestran que las tecnologías de reconocimiento facial pueden presentar sesgos discriminatorios o implementarse de tal modo que persiguen y controlan de manera desproporcionada a las minorías, lo cual conduce a la elaboración de perfiles étnicos. Algunas administraciones públicas europeas también utilizan IA y sistemas automatizados de toma de decisiones para apoyar la adopción de decisiones en el ámbito de la migración, por ejemplo en materia de ciudadanía, asilo o residencia. Entre los usos conocidos figuran, por ejemplo, la identificación y evaluación lingüísticas, la detección del fraude relacionado con los documentos de identidad, la gestión de casos, la interacción con los migrantes, incluso a través de chatbots, las previsiones sobre migración y las tecnologías de vigilancia de fronteras. Otros ámbitos de política en los que las administraciones públicas utilizan IA y sistemas automatizados de toma de decisiones son el bienestar, la justicia, la enseñanza, la fiscalidad o la sanidad.
En el sector privado, las empresas de servicios de personal utilizan IA y sistemas automatizados de toma de decisiones para seleccionar y elaborar perfiles de los solicitantes de empleo, establecer correspondencias entre las solicitudes y los perfiles, o redactar y traducir ofertas de empleo. Estos sistemas también se utilizan en áreas críticas del sector privado, como la banca y los seguros. (Leer más...)
Read “European policy guidelines on AI and algorithm-driven discrimination for equality bodies and other national human rights structures” in full (also in FRA, DUT, POR, FIN, SWE)
Read “Legal protection against algorithmic discrimination in Europe: current frameworks and remaining gaps” in full (also in FRA, DUT, POR, FIN, SWE)
The Council of Europe and inclusion and anti-discrimination
Framework Convention on artificial intelligence and human rights, democracy and the rule of law
