Destripando algoritmos: un buscador para conocer qué hay detrás de las decisiones de Google, Facebook o Netflix

La inteligencia artificial (IA) es uno de los principales desarrollos tecnológicos, por no decir el más importante, de la actual revolución digital. Gracias a ella, las máquinas pueden realizar tareas, solucionar problemas o tomar decisiones en sustitución de las personas con un mayor grado de rapidez y eficiencia en muchas ocasiones.

Sin embargo, el funcionamiento de los algoritmos de IA que están detrás de estos sistemas sigue generando muchas dudas acerca de sus posibles sesgos en torno al género, la edad, la raza o la clase social. Un impacto a todas luces inaceptable, pero al que empresas y administraciones no están prestando toda la atención y la importancia que se merece para evitarlo. 

De hecho, en los últimos años han salido a la luz varios casos que confirman estas dudas. Por ejemplo, hemos visto como algoritmos de selección de personal discriminaban sistemáticamente a mujeres candidatas, como herramientas de reconocimiento facial que usa la policía emitían alertas injustificadas con personas negras de manera generalizada o como algoritmos de recomendación musical posicionan a las artistas más de seis lugares más atrás que a sus compañeros hombres.

El debate no es, por tanto, baladí, sobre todo teniendo en cuenta que actualmente, tanto empresas como Administraciones públicas automatizan decisiones gracias a algoritmos. Sin embargo, su desarrollo y puesta en funcionamiento no sigue controles de calidad externos ni es tan transparente como debería, dejando a la población totalmente desprotegida.

Ante esta situación, Eticas Foundation, entidad sin ánimo de lucro, ha creado el Observatorio de Algoritmos con Impacto Social (OASI), un buscador que permite conocer más sobre los algoritmos que toman decisiones de manera automatizada que afectan a personas de todo el mundo. 

Gemma Galdón, fundadora y consejera delegada de Eticas Foundation, explica que con este observatorio buscan dar transparencia al uso de algoritmos y proporcionar a la ciudadanía una herramienta para que conozca el impacto que implica su uso. "Con OASI queremos abrir a cualquiera las posibilidades de investigar, visualizar y documentar el desarrollo y uso de algoritmos e ir aumentando su registro para que se puedan consultar", afirma.

El buscador ofrece distintas informaciones sobre los algoritmos incluidos, desde quién los ha desarrollado o quién los usa, hasta su ámbito de aplicación, si han sido auditados, sus objetivos o su impacto social y las amenazas que representan. Eso siempre que las entidades hayan hecho públicos los datos necesarios para medir su impacto por grupos, algo que no siempre ocurre.

Como indica Galdón en declaraciones a D+I, lo más habitual es que las empresas no den transparencia a sus procesos automatizados de decisión, a los algoritmos que utilizan o cómo los entrenan para tomar esas decisiones.

Así, apunta que las razones que dan para ello suelen hacer referencia al secreto comercial y la propiedad intelectual o industrial. Por ello, admite que se hace muy difícil acceder a esa información, pese a que en su caso se comprometen a no hacer nunca público su código, ni siquiera las conclusiones de una auditoría. "Simplemente les ayudaríamos a mejorarlo", asegura.

Primeros algoritmos del OAIS

Por el momento, OASI recoge 57 algoritmos, pero espera superar los 100 en los próximos meses. De ellos, hay cuatro algoritmos de aplicación exclusiva en territorio español y una docena más de grandes compañías como Google, Facebook, Twitter, Netflix, Uber o Microsoft que también tienen impacto en nuestro país.

Entre ellos se encuentran, por ejemplo, Veripol, el algoritmo desarrollado para detectar denuncias falsas por un inspector del Cuerpo Nacional de Policía, y RisCanvi, que ayuda a los jueces en Cataluña a calcular el riesgo de reincidencia de los presos, por ejemplo.

Sobre estos algoritmos analizados, Galdón señala que sus desarrolladores quieren tratar temas de manera objetiva porque son conscientes de que pueden tener un impacto sensible, pero critica que no le ponen solución ni permiten un control externo a sus sistemas, "y al no someterse a procesos de auditoría, lo más habitual es que reproduzcan sesgos o discriminaciones".

De hecho, apunta que en OASI la casilla en la que se marca si un algoritmo ha sido auditado está vacía en casi todos, ya que en general no se someten a auditorías. A este respecto, apunta que a la dificultad del proceso, se suma el que sea algo relativamente nuevo, ya que hay muy pocas organizaciones públicas o privadas que lo hayan integrado en sus buenas prácticas.

En Eticas Foundation está desarrollando un proyecto de auditorías externas, la primera de las cuales se está realizando es sobre VioGén, el algoritmo utilizado por el Ministerio del Interior para asignar riesgo a las mujeres que buscan protección tras sufrir casos de violencia machista. 

Por oro lado, Galdón señala que para el Observatorio han empezado con aquellos algoritmos más accesibles o que mayor impacto tienen en sociedades de todo el mundo. Sin embargo, agrega que su intención es que OASI tenga un formato abierto para que se pueda ir ampliando lo más fácilmente posible. "Se trata de un trabajo de fondo que hay que hacer de manera constante, porque también requiere actualizaciones periódicas", recalca.

En este caso, el trabajo del observatorio empieza al encontrar información pública para luego investigar en profundidad sobre el algoritmo, algo que admite es "muy difícil" al no tener acceso a su código. Así, señala que esto puede llevar muchísimo tiempo, pero apunta que su intención es actualizar el observatorio mensualmente si es posible.

Asimismo, apunta que además de hacer desde la fundación ese trabajo de búsqueda, cualquier persona puede compartir con el observatorio información sobre un algoritmo que le gustaría que investigaran a través del formulario que hay disponible en su página web.

Edad, género o raza, entre los principales sesgos

Eticas Foundation destaca que entre los valores que generan mayores perjuicios están la edad, el género, la raza o la discapacidad, por ejemplo. La organización apunta que, si bien la mayoría de los desarrolladores de estos sistemas de IA no discrimina intencionalmente, al crear a partir de su base de conocimientos única, se producen sesgos no deliberados.

Unos sesgos que, además, se amplifican y vuelven a "enseñar" al sistema cuando no hay reparación porque, a primera vista, parece que el algoritmo está funcionando como se esperaba.

Y es que los algoritmos de machine learning se entrenan con grandes cantidades de datos históricos para "enseñarles" a elegir, basándose, por tanto, en decisiones pasadas. Y lo más habitual es que dichos datos no sean representativos de la realidad socioeconómica y cultural sobre la que se aplican, sino que en muchas ocasiones recogen una situación carente de justificación o equidad, que no se quiere perpetuar.

De esta forma, aunque, técnicamente, el algoritmo estaría tomando decisiones "correctas" según su entrenamiento, la realidad es que sus recomendaciones o predicciones están sesgadas o discriminan. 

Preguntada por si han detectado algún tipo de avance hacia una mayor concienciación por parte de las empresas y administraciones que utilizan algoritmos de evitar el impacto negativo, Galdón admite que todavía no.

Así, señala que aunque muchas empresas son conscientes de su impacto, nos encontramos con casos como el Facebook. Su exempleada Frances Haugen acaba de asegurar que la compañía eligió sus beneficios económicos a sabiendas de que ponía en peligro la salud de sus usuarios con lo que su algoritmo decidía que vieran.

"Y es que es muy posible que hasta que no empecemos a ver grandes multas a compañías que utilizan algoritmos de mala calidad, no veremos las primeras reacciones, tal y como está pasando con las multas por protección de datos, la última de ellas, de hecho, a Facebook (WhatsApp)", asegura.