José García Fanjul.
Julia se llevó hoy una alegría al encontrarse por la calle con Samuel. Son buenos amigos desde que compartieron colegio e instituto hasta terminar la ESO, no se veían desde que Samuel se mudó al otro extremo de la ciudad. Ambos están en paro y en una situación familiar similar, con dos hijos, magras cuentas bancarias y muchas facturas que pagar. Charlan un poquito de todo para ponerse al día y Samuel le dice que está especialmente contento desde que la semana pasada le llegó una notificación por la que le indicaban que era concesionario de una ayuda.
Por lo visto se trata de una prestación del programa de apoyo a familias con pocos ingresos, en los periódicos dicen que un sistema de inteligencia artificial examina los datos de todos los ciudadanos y envía automáticamente notificaciones al móvil de las personas que necesitan la ayuda. La declaración de un concejal habla de una “solución innovadora y proactiva”. Samuel dice que es un avance tremendo mientras se despiden y Julia, que no ha recibido la notificación, tuerce el gesto porque a priori está en una situación similar a la de Samuel ¿no van a darle esa ayuda a ella? ¿por qué?.
Pasan los días y la notificación sigue sin llegar. Julia llama a Samuel y éste le pasa una captura de la notificación y le dice que conoce a varias personas en su barrio a quienes también les llegó sin haberlo pedido: Pedro, Aitor y Jesús Manuel sin ir más lejos, que son tres de los papis con los que coincide en el cole al dejar a los niños. Al día siguiente Julia se planta en la oficina de atención a la ciudadanía y, tras esperar como media hora, un funcionario le informa de que ya han enviado todas las notificaciones y que si no le ha llegado “debe ser porque no cumple los requisitos”.
Julia, que no tiene ni un pelo de tonta, antes de ir a la oficina se ha informado, ha sacado de la página web del ayuntamiento la lista de requisitos y los cumple todos. Cuando se lo dice al funcionario, éste le informa de que tiene derecho a presentar una reclamación en la sede electrónica, lo que hace en cuanto llega a casa. Dos semanas después los periódicos titulan que ha habido un “error informático” en los sistemas de los servicios sociales y por lo visto hay centenares de personas que han presentado recursos, casi todas mujeres. Pasan tres meses y Julia recibe una notificación que le informa de que le conceden la dichosa ayuda.
En nuestro país se publican continuamente noticias sobre “errores informáticos” que ni son errores ni son informáticos. Julia no recibió la notificación cuando Samuel porque la inteligencia artificial estaba mal entrenada y exhibía sesgos, discriminando específicamente a mujeres que vivían en determinadas barriadas de la ciudad. La inteligencia artificial estaba mal entrenada porque se licitó a una empresa que presentó la propuesta con el precio más bajo sin tener en cuenta si contaba con el conocimiento necesario. En el ayuntamiento no hay ningún funcionario que sea ingeniero en informática por lo que ningún profesional comprobó que la solución entregada por la empresa tuviera un mínimo rigor técnico. En la nota de prensa del ayuntamiento se dijo bien claro, negro sobre blanco, que lo que había sucedido era un “error informático” aunque ningún profesional de la informática participó ni en el desarrollo ni en la supervisión de la fallida inteligencia artificial.
La inteligencia artificial es una maravillosa herramienta informática que tiene la capacidad de multiplicar la productividad de empresas y administraciones públicas, y va a utilizarse cada vez en más ámbitos. En el caso que hemos narrado se pretendía usar para agilizar la concesión de ayudas en un ayuntamiento y cientos de ciudadanas sufrieron discriminación. En otro contexto un sistema de inteligencia artificial puede sugerir que una persona reciba o no un trasplante, otro puede redactar un borrador de sentencia para un juez y un vehículo autónomo puede realizar una maniobra brusca que resulta en la muerte de tres personas.
La sociedad no puede permitirse que haya inteligencias artificiales fallidas en funcionamiento y el anteproyecto de ley para el buen uso y gobernanza de la IA está en el congreso. Señores y señoras diputadas: es imperativo contar con ingenieros en informática que validen y supervisen el comportamiento de las inteligencias artificiales que puedan tener incidencia en derechos fundamentales, la seguridad de la ciudadanía y el interés general.
***José García Fanjul es el secretario del Consejo General de Colegios Profesionales de Ingeniería Informática (CCII).
