Carmela Troncoso, investigadora científica en el Instituto Max Planck

Carmela Troncoso, investigadora científica en el Instituto Max Planck Alan Herzog (EPFL) Omicrono

Tecnología

Carmela Troncoso, la española que pide límites en el desarrollo de la IA: "Tampoco construimos coches que vayan a 400 km/h"

La investigadora es una del medio millar de profesionales que reclaman una mayor responsabilidad a las empresas que entrenan modelos de IA.

Más información: Qué es la Superinteligencia y por qué Donald Trump ha rebautizado la IA desarrollada en EEUU frente a China

Publicada

La IA supone un "riesgo catastrófico para la humanidad". Una vez más, Anthropic ha alertado del riesgo que presenta su propia creación. La empresa estadounidense líder en Inteligencia Artificial ha dedicado una tercera parte de su documento de salida a bolsa a los riesgos de la IA.

No es nuevo, es la comidilla de muchos cafés de sobremesa, pues tras meses escuchando frases alarmistas, el mensaje ha calado: la IA puede acabar con la humanidad, la IA ya actúa por su cuenta.

Pero no todo el mundo está de acuerdo con esta idea, al menos, no con cómo se está narrando la historia. “En los últimos meses han surgido numerosos artículos que dicen que la IA se ha vuelto a escapar, se ha revelado. Esta personificación de la tecnología es un ángulo incorrecto”, explica la investigadora Carmela Troncoso a EL ESPAÑOL-Omicrono.

La profesora Troncoso es directora científica en el Instituto Max Planck para la Seguridad y la Privacidad. Su trabajo consiste en estudiar cómo se puede realizar el desarrollo tecnológico minimizando el daño a la sociedad, enfocado en la privacidad así como en el control para alcanzar una IA más segura.

Esta investigadora es una de los 499 científicos que han firmado una carta abierta para pedir “más investigación sobre seguridad de la IA y un mayor énfasis en las tecnologías y procedimientos de contención”, se indica en el manifiesto.

Entrenamientos inseguros

“Se le asignan capacidades superiores, pero al final lo que ha pasado es que se prueban estas tecnologías de manera bastante insegura”, asegura esta especialista. Los hackeos confesados por empresas como Anthropic u OpenAI han disparado el debate sobre el camino que está alcanzando una carrera sin límites.

Según revelaron los informes posteriores al hackeo de Hugging Face, OpenAI, de forma deliberada o involuntaria, les había asignado a sus agentes de IA tareas casi imposibles que dependían de archivos a los que no podían acceder, por lo que estos modelos desarrollaron nuevas técnicas reprobables.

Este problema, en realidad, preocupa desde hace tiempo. En la técnica de aprendizaje por refuerzo, la IA recibe un objetivo y a base de prueba y error va recibiendo recompensas si se acerca o penalizaciones si se aleja del objetivo marcado. El problema aparece cuando la IA emprende soluciones reprobables para lograr la meta que se le ha marcado.

Carmela Troncoso pone de ejemplo los virus gusano que surgieron en los años 90 y si no se creaban en entornos controlados se replicaban por todo internet y el caos alcanzaba proporciones nunca vistas. “Con esta narrativa se le quita la culpa a las empresas a las que se les escapa esa IA”, afirma.

Donald Trump, presidente de EEUU, junto a Mark Zuckerberg, CEO de Meta, hablando de Superinteligencia.

Donald Trump, presidente de EEUU, junto a Mark Zuckerberg, CEO de Meta, hablando de Superinteligencia. Reuters

En nombre de todos los firmantes indica que “pedimos que haya un poquito más de cuidado, que haya responsabilidad, generar estas tecnologías con el cuidado que que se merecen” y añade “también pedimos un poco más de transparencia, que la gente diga qué es lo que ha hecho, cómo lo ha hecho”.

La alineación no basta

Ante los últimos ataques se ha indicado que parte de la culpa era la desalineación de los modelos de IA. Algunos especialistas han llegado a indicar que cuando la IA sea más inteligente comprenderá mejor las indicaciones de los humanos y las líneas rojas que no puede saltarse, lo moralmente correcto.

Sin embargo, Troncoso advierte que “sabemos muy bien que no se puede codificar el bien y el mal y en una serie de parámetros entre otras cosas, porque las cosas que están bien en un contexto no están bien en otro”. Esta especialista insiste, "hay muchos ejemplos, pero Estados Unidos es muy claro en cuanto a un país ha cambiado últimamente sus prioridades en lo que se considera bien común”.

Sam Altman, CEO de OpenAI

Sam Altman, CEO de OpenAI Reuters Omicrono

Para esta investigadora encontrar la alineación no es la solución definitiva para este reto. Por el contrario, considera que habrá que aceptar que “a veces hay cosas que no vamos a poder controlar”.

Ante esta realidad, surge la difícil tarea de asumir esos límites, “tendremos que aceptar, que no todo es posible, no construimos coches que puedan ir a 400 km por hora, tampoco hemos dejado a la medicina experimentar de cualquier manera, y quizás sin esos límites ya hubiéramos curado el cáncer, pero decidimos que no todo vale”.

El manifiesto señala que “a corto plazo, se deben utilizar mecanismos robustos de aislamiento, incluyendo el aislamiento de internet (airgapping), para proporcionar una contención de alta seguridad de los modelos de IA con capacidad cibernética.”

Regulación internacional

Pone también de ejemplo cómo se ha llegado a un cierto consenso en la industria alimentaria, farmacéutica o automóvil sobre qué hacer cuando alguien se sale de la norma. Un consenso internacional que se reclama para abordar los riesgos que plantea esta nueva industria de la IA.

“No estamos tan cerca de tener ese tipo de estructura que sería parecida a la OMS”, para este conjunto de investigadores que han firmado la carta es preocupante la reciente reunión de Donald Trump con los grandes directivos de la IA en Estados Unidos en la que hablaron de autorregulación.

“Llevamos ya dos o tres años con este punto y la autorregulación no está por ningún lado, no ha funcionado y no está muy claro también qué es lo que van a hacer”, afirma Troncoso.

Tampoco la Unión Europea se salva de las críticas: “Estuvo el AI Act, pero ahora tenemos el Omnibus Digital que lo empieza a desmontar; se ha dicho que la prioridad es el AI safety pero al final no tenemos las maneras de hacer lo seguro”.

El presidente de Estados Unidos, Donald Trump, se reúne con la presidenta de la Comisión Europea, Ursula von der Leyen , en Turnberry, Escocia, Gran Bretaña, el 27 de julio de 2025.

El presidente de Estados Unidos, Donald Trump, se reúne con la presidenta de la Comisión Europea, Ursula von der Leyen , en Turnberry, Escocia, Gran Bretaña, el 27 de julio de 2025. Reuters Reuters

El Omnibus Digital de IA es una iniciativa normativa de la Comisión Europea presentada a finales de 2025, diseñada para revisar y ajustar el Reglamento de la UE. Su objetivo es simplificar la normativa para suavizar la burocracia que frena la investigación y desarrollo.

Sin embargo, ha recibido numerosas críticas por esa rebaja de la norma, por ejemplo, por el retraso a la hora de aplicar las normas impuestas para sistemas de alto riesgo a diciembre de 2027. Además, busca agilizar los entrenamientos de modelos de inteligencia artificial permitiendo que las empresas puedan usar datos personales.