Los debates sobre los sesgos de género y raza presentes en muchos sistemas de inteligencia artificial no son nuevos. En los últimos años, hemos visto como los algoritmos de selección de personal de Amazon discriminaban sistemáticamente a las mujeres candidatas o a las herramientas de reconocimiento facial que usa la policía emitiendo alertas injustificadas con personas negras de manera generalizada.

Esos son los casos más notorios, pero quizás es más difícil darnos cuenta de otros sesgos presentes en aplicaciones que todos usamos a diario y que, también, emplean de manera intensiva la inteligencia artificial. Un ejemplo inusitado lo encontramos en la música.

Bien conocido es que las artistas lo tienen más complicado a la hora de llegar a la audiencia solo por el hecho de ser mujeres (así lo demostró en 2010 una investigación de Vaughn Schmutz y Alison Faupel). También que están infrarrepresentadas en los ránkings y nominaciones a premios de la industria (atestiguado por otro estudio, en esta ocasión de 2019 a cargo de Stacy Smith, Marc Choueiti y Katherine Pieper). 

Pero parecía que con las plataformas en streaming, todo eso podía cambiar. Al fin y al cabo, son espacios donde el propio usuario es el que decide lo que quiere escuchar, sin una imposición subjetiva por parte de una emisora de radio, por ejemplo. Al fin y al cabo, a los algoritmos de recomendación que incluyen estos servicios se les presupone un aura de objetividad inherente, ¿verdad?

Andrés Ferraro y Xavier Serra, investigadores del grupo de investigación en Tecnología Musical (MTG) de la UPF, se aliaron con Christine Bauer, de la Universidad de Utrecht (Holanda), para estudiar este fenómeno. 

Discriminar... por el bien del usuario

"Los recomendadores musicales son impulsores relevantes en la industria musical y para las plataformas de música en concreto", afirman los investigadores. "Estos sistemas pueden privilegiar el contenido de un pequeño grupo de artistas con tal de maximizar la satisfacción del usuario. Como consecuencia, se limita la oportunidad de otros artistas de llegar a más audiencia".

Ferraro, Serra y Bauer no se metieron de lleno a analizar la tecnología, sino que primero decidieron escuchar a los propios artistas. Son ellos y ellas, en definitiva, los afectados por estos sesgos. Y la decena de músicos de toda índole que se prestaron a estas entrevistas fueron claros: hay una necesidad de incrementar la cantidad de artistas femeninas para llegar a la igualdad de género, aunque piden hacerlo de forma "gradual" y "sin decirles a los usuarios a qué género deben escuchar".

Los recomendadores musicales privilegian a unos artistas en favor de otros, con tal de maximizar la satisfacción del usuario

De nuevo, el usuario es el 'chivo expiatorio' para no analizar los sesgos presentes en las plataformas musicales o hacer cambios de ningún tipo. Pero los investigadores prefirieron centrarse en el lado positivo -ese convencimiento de que hay que lograr la igualdad de género- y seguir trabajando.

Las entrañas del algoritmo

Los tres jinetes se adentraron entonces en el análisis de tres tipos de algoritmos usados para la recomendación de contenidos musicales. El primero de ellos, el más usado y basado en el filtrado colectivo, es el ALS (Alternating Least Square). Sus contendientes, a modo de grupos de control, serían un algoritmo RND (que genera recomendaciones aleatorias) y un sistema POP (que recomienda los mismos elementos populares a todos los usuarios).

La primera muestra de que algo marchaba mal no tardó en llegar. Los investigadores tenían que seleccionar el conjunto de datos con el que entrenar a los distintos algoritmos (y, posteriormente, comprobar su rendimiento). Para ello, optaron por dos bases de datos de Last.fm, una de las principales plataformas musicales del mundo. 

El primero de esos grupos de información contaba con tres millones de artistas, 120.000 usuarios y 32 millones de canciones. El segundo, con 17 millones de interacciones entre artistas y usuarios (359.000 usuarios y 260.000 artistas). Una vez filtrados los datos -solo se seleccionaron solistas con más de 30 interacciones-, quedaron sendas bases de 64.690 y 46.469 artistas. De ellos, solo 15.055 y 10.535, respectivamente, eran mujeres.

Apenas una cuarta parte de los artistas presentes en las bases de datos de Last.fm eran mujeres

Si el conjunto de datos con el que se entrena un sistema está sesgado, como en este caso, es más que probable que los resultados que ofrezcan los algoritmos también lo estén. Pero había que comprobarlo, y a ello se pusieron Ferraro, Serra y Bauer.

No hubo sorpresas en las conclusiones: la posición media de las artistas femeninas en los sistemas de recomendación era muy inferior a la de sus colegas varones. Para el algoritmo ALS, hasta seis posiciones más atrás con el primer 'dataset' y ocho veces con el segundo grupo de información. Además, tan solo el 25,44% de las recomendaciones totales correspondía a artistas mujeres.

El primer artista para los algoritmos de recomendación es hombre. La primera mujer aparece en sexta posición

Los algoritmos empleados a modo de alternativa -POP y RND- fueron algo más equitativos... aunque tampoco demasiado. Salvo una excepción (el sistema POP con el primer grupo de datos), en todos los demás casos se reproducía la desigualdad de género, con hasta tres posiciones de diferencia entre el primer artista hombre y la primera mujer. Eso contando incluso con que se trata de algoritmos mucho menos precisos, mucho menos propensos a ofrecer variantes y con peor rendimiento que ALS.

Pueden pensar que se trata de un tema menor, una simple experiencia sesgada a la hora de escuchar música en un momento puntual. Pero sus consecuencias son a largo plazo y mucho más profundas de lo que parece a simple vista. "El sesgo en la exposición viene de la forma en que se generan las recomendaciones", afirma Andrés Ferraro, quien recuerda que las mujeres tienen menos exposición a partir de las recomendaciones del sistema. Y, a medida que los usuarios escuchan las canciones sugeridas, el algoritmo aprende a no primar aquellas canciones -las de las artistas femeninas, en este caso- creando un bucle de retroalimentación.

La posible solución

Con ello queda demostrado, y así aparece en el paper, que hay una "considerable diferencia en lo que respecta a la primera posición de los artistas hombres y mujeres en los ránkings de recomendación. Y, con ello, la exposición del contenido de ambos géneros no está equilibrado".

Volviendo al inicio del artículo, la solución pasa por intervenir en estos algoritmos, moviendo algunos artistas y canciones un número determinado de posiciones hacia abajo para solucionar el sesgo de género existente. 

No se quedaron en proponer esta solución, sino que nuestros tres protagonistas hicieron una simulación de cómo resultaría tal empeño. Y lo que encontraron es que, con la ayuda del algoritmo reclasificado, los usuarios comenzarían a cambiar su comportamiento de manera que escucharían más artistas mujeres que con otros algoritmos de recomendación musical y, además, el nuevo algoritmo, basado en 'machine learning', consolidaría este cambio de comportamiento.