Algoritmos que discriminan: cómo la inteligencia artificial amplifica los sesgos de género

En septiembre de 2023, imágenes falsas de una veintena de adolescentes desnudas empezaron a circular por la localidad de Almendralejo (Badajoz) a través de WhatsApp. Un grupo de chicos de la zona había usado una aplicación de inteligencia artificial para subir fotos reales de las chicas y modificarlas.

Tras conocer los hechos, la Agencia Española de Protección de Datos (AEPD) abrió una investigación de oficio y la Policía Nacional identificó a los autores después de recibir varias denuncias.

Más de dos años después, en noviembre de 2025, se resolvió el caso: al autor de estas imágenes alteradas -conocidas como deepfakes- se le impuso una multa de 2.000 euros. Era la primera vez que en España se dictaba una sentencia por este motivo.

“Eres más joven que yo y además mujer, ¿por qué tendría que escucharte?”: la brecha de las CIO en un sector de hombres

Este caso no fue una anécdota ni un fallo técnico. Fue una advertencia e ilustra un debate cada vez más presente en torno a la inteligencia artificial: hasta qué punto pueden estos sistemas amplificar desigualdades que ya existen en la sociedad y convertirlas en decisiones automatizadas.

Para analizar por qué ocurre y qué riesgos plantea, DISRUPTORES–EL ESPAÑOL ha hablado con cuatro expertas en tecnología, ética y derecho. Entre ellas está María Dapena, embajadora de Women in AI en España, que, sobre el caso de Almendralejo, defiende de forma categórica: "Es difícil pensar que productos así hubieran pasado filtros éticos básicos con mujeres en la toma de decisiones estratégicas y una presencia paritaria en los equipos”.

Cómo funciona el sesgo

La inteligencia artificial no “piensa”, identifica patrones en grandes volúmenes de datos y reproduce lo que aparece con mayor frecuencia. Por eso, cuando las mujeres están infrarrepresentadas en ámbitos como empleos tecnológicos, liderazgo o diagnósticos médicos, el sistema convierte esa desigualdad en algo que, aparentemente, es objetivo.

“La discriminación no aparece como una decisión explícita, sino como una consecuencia estadística”, explica Gemma Galdón-Clavell, fundadora y directora ejecutiva de Eticas.ai. El algoritmo no decide, tan solo replica y automatiza una realidad que es desigual y la convierte en norma.

María Dapena, embajadora de Women in AI en España, y Gemma Galdón-Clavell, fundadora y directora ejecutiva de Eticas.ai.

En 2018, el estudio Gender Shades, del MIT Media Lab, analizó sistemas de reconocimiento facial desarrollados por grandes tecnológicas y detectó diferencias relevantes en las tasas de error según género y tono de piel.

En algunos casos, la precisión superaba el 99% al identificar a hombres blancos, mientras que el margen de error aumentaba en mujeres, especialmente en negras, indígenas, árabes, asiáticas o latinoamericanas. No se trataba de una decisión deliberada, simplemente reflejaban los datos con los que habían sido entrenados.

“La discriminación no es una decisión explícita, es una consecuencia estadística”

Gemma Galdón-Clavell, fundadora y directora ejecutiva de Eticas.ai.

“Alguien decide qué datos se utilizan, qué variables se excluyen y qué métricas se optimizan”, señala Amparo Alonso Betanzos, catedrática de Ciencias de la Computación e Inteligencia Artificial de Universidade da Coruña.

“¿Se prioriza la precisión total o la equidad entre grupos?”, plantea. “A veces, para ser justo, un algoritmo no puede limitarse a ser neutral, sino que debe compensar desigualdades de origen”. Más que hablar de una IA neutral, propone pensar en una IA responsable y auditable.

Desigualdad histórica

Esto hace años que tiene consecuencias. En 2018, Amazon tuvo que dejar de usar una herramienta interna de selección de personal basada en inteligencia artificial tras descubrir que para determinados puestos penalizaba los currículos donde aparecía la palabra “women’s”. La razón: el modelo había aprendido de datos históricos de contratación, con perfiles mayoritariamente masculinos, y replicaba el patrón.

Desde entonces, muchas empresas han incorporado auditorías internas, pero siguen usando este tipo de herramientas de automatización como filtro.

"Un algoritmo no puede ser neutral, debe compensar desigualdades de origen”

Amparo Alonso Betanzos, catedrática de Ciencias de la Computación e Inteligencia Artificial de Universidade da Coruña.

Esa baja representación femenina no es casual. Dapena recuerda que durante décadas las mujeres han desempeñado profesiones vinculadas al cuidado y, dentro del ámbito científico, se han concentrado más en el área de salud que en el desarrollo tecnológico.

Junto a esta brecha estructural, ellas también han tenido que interrumpir su trayectoria profesional por causas como la maternidad, empleo a tiempo parcial o emprendimiento. Todas ellas pueden quedar fuera del patrón aprendido.

Mujeres empresarias invisibles: conciliación, financiación y falta de visibilidad siguen marcando la brecha

De ahí que dar prioridad al perfil mayoritario en procesos automatizados, como la selección de personal, se traduce en penalizaciones a currículos que no encajan en el modelo históricamente de más éxito.

Si a esto se añade que "cuando los equipos son monolíticos (en género, origen, edad o nivel socioeconómico) no anticipan o directamente obvian los riesgos que sus productos pueden generar”, explica Dapena, el problema es doble: menos mujeres participan en el diseño de la tecnología y, al mismo tiempo, los sistemas aprenden de modelos que siempre han tenido más presencia masculina.

Modelos persistentes

Si se da luz verde a unos sistemas que ya incorporan sesgos y no se monitorizan, la tendencia es que el riesgo aumente. Por eso, Alonso Betanzos subraya la necesidad de realizar “auditorías periódicas y métricas de equidad que midan, por ejemplo, tasas de falsos positivos y negativos entre distintos grupos”.

Una propuesta que refuerza Galdón-Clavell, quien asegura que el origen técnico de esta desigualdad “podría corregirse con auditorías independientes, revisión de datos de entrenamiento, evaluación constante de impactos y rediseño de modelos”.

“Hay una opacidad increíble alrededor de estos sistemas”

Gemma Galdón-Clavell, fundadora y directora ejecutiva de Eticas.ai.

Sin embargo, para ello se necesita tiempo, recursos y, en ocasiones, conlleva renunciar a parte del rendimiento del modelo. Algo que en el escenario actual no es una prioridad para las empresas detrás de estos desarrollos, que buscan rapidez y resultados.

En este sentido, Galdón-Clavell introduce un elemento más: “Hay una opacidad increíble alrededor de estos sistemas y pocos datos”. Sin acceso a información independiente, es difícil dimensionar el alcance real de los sesgos. En España, recuerda, las auditorías de sistemas públicos son obligatorias desde 2016, pero “desgraciadamente no se hacen", asegura.

Mujer y tecnología: las historias que cambiaron el relato de la innovación y la ciencia en 2025

No está de más recordar que muchas organizaciones adquieren sistemas de terceros sin auditarlos internamente, heredando posibles fallos y sesgos que acabarán siendo su responsabilidad legal y reputacional.

Dapena lo resume con una llamada de atención directa: “Si lideras un proyecto de IA, eres responsable no solo del rendimiento del modelo, sino de su impacto en la sociedad”. Y agrega: “No uses a la ciudadanía como beta testers involuntarios”.

El marco normativo

En el plano jurídico, no todo sesgo técnico constituye una discriminación. La clave está en el impacto real sobre los derechos fundamentales, explica a este medio Elena Ramallo Miñán, jurista e investigadora en inteligencia artificial y derechos humanos.

“Podemos hablar de discriminación algorítmica por razón de sexo cuando un sistema automatizado produce un impacto adverso relevante y sistemático sobre mujeres, carece de una justificación objetiva y proporcionada, y genera una lesión efectiva en derechos como el empleo, el acceso al crédito o a prestaciones públicas”, detalla.

Elena Ramallo, jurista e investigadora en inteligencia artificial y derechos humanos, y Amparo Alonso, catedrática de Ciencias de la Computación e Inteligencia Artificial de Universidade da Coruña.

La jurista recuerda que los principios básicos de igualdad siguen vigentes también en el entorno digital. “El artículo 14 de la Constitución Española y la Ley Orgánica 3/2007 de Igualdad son plenamente aplicables cuando las decisiones se toman mediante sistemas automatizados”.

La legislación europea reconoce, además, la llamada discriminación indirecta, que se produce cuando una práctica aparentemente neutra termina perjudicando a un grupo concreto sin una justificación objetiva.

“El Derecho no puede corregir por sí solo las desigualdades que los algoritmos reproducen”

Elena Ramallo Miñán. jurista e investigadora en inteligencia artificial y derechos humanos.

En este escenario, el Reglamento europeo de Inteligencia Artificial (AI Act) clasifica como de alto riesgo los sistemas utilizados en ámbitos como el empleo, la educación, el crédito o los servicios públicos, y exige medidas como evaluaciones de impacto, mayor transparencia y supervisión humana. “El marco es jurídicamente sólido en términos formales, la cuestión es su eficacia real”, señala Ramallo.

La jurista advierte, además, de un límite estructural: “El Derecho puede declarar nulidades, exigir transparencia o imponer responsabilidades, pero no puede corregir por sí solo las desigualdades estructurales”.

Más allá de la norma

Pero el problema no es únicamente normativo. En la práctica, es la persona afectada quien debe demostrar el daño causado por un sistema cuyo funcionamiento no puede examinar. "El sistema clásico no fue pensado para decisiones automatizadas basadas en modelos probabilísticos", añade.

De ahí que la principal dificultad para aplicar la norma, según Ramallo, sea probatoria: “Muchos sistemas funcionan como 'cajas negras': la persona afectada desconoce los criterios reales de decisión”

La ciberseguridad tiene su propia brecha de género: solo un 23% son mujeres frente al 48% de media del mercado laboral

A ello se suma "la asimetría informativa entre quien desarrolla el sistema y quien sufre sus efectos, así como la dificultad estadística de demostrar, con datos comparados, que existe una discriminación indirecta".

Lo que lleva a que la existencia de un marco normativo no garantiza que los sesgos se corrijan en la práctica. La cuestión, por tanto, es la falta de gobernanza y responsabilidad dentro de las propias organizaciones.

“La ética no es un comité asesor ni un apartado en la memoria corporativa”

María Dapena , embajadora de Women in AI en España.

En este sentido, Dapena advierte que no pueden quedarse en declaraciones de principios. “La ética no es un comité asesor ni un apartado en la memoria corporativa, es un proceso transversal en todo el ciclo de vida del producto”, defiende.

En su opinión, debe incorporarse desde el inicio del desarrollo tecnológico: en el diseño de objetivos, en la selección y entrenamiento del modelo, en su despliegue, en la monitorización y, llegado el caso, en la retirada del sistema.

Efectos de la IA generativa

Por si todo esto fuera poco, la expansión de la IA generativa ha hecho todavía más visibles los sesgos. La Unesco, en su informe Technology on Her Terms, advierte que la IA puede reforzar los prejuicios de género si no se corrige de forma expresa. Algo que la catedrática Amparo Alonso Betanzos recalca que "no son fallos puntuales".

No hay que irse muy lejos para encontrar una evidencia: herramientas ya cotidianas, como los asistentes virtuales, tienen voces femeninas en su configuración por defecto. Y cualquier usuario puede comprobar cómo un sistema asocia determinadas profesiones a hombres y otras a mujeres.

"La discusión sobre sesgos no es sólo técnica, también es política y cultural”

Amparo Alonso Betanzos, catedrática de Ciencias de la Computación e Inteligencia Artificial de Universidade da Coruña.

Esto tampoco es anecdótico. La Unesco también ha demostrado que grandes modelos de lenguaje, como GPT-3.5 o Llama 2, asocian a las mujeres con términos vinculados al hogar, la ayuda o el cuidado, mientras que los hombres aparecen ligados a liderazgo o carreras técnicas. Es lo que Alonso Betanzos denomina colonización tecnológica: "La discusión sobre sesgos no es solo técnica, también es política y cultural”.

El verdadero riesgo no es que la inteligencia artificial herede sesgos, sino que los automatice y los convierta en decisiones aparentemente objetivas asumidas como válidas.