Sam Altman CEO de OpenAI.JPG Omicrono
El gran problema de controlar la IA: por qué nadie es capaz de asegurar los límites para que la tecnología no cruce líneas rojas
La industria se ha construido de tal forma que la evolución de los modelos de IA no ha ido en paralelo con el desarrollo de las medidas de control.
Más información: OpenAI, Google y Mastercard firman un llamamiento para reforzar la ciberseguridad con IA: "Tenemos poco tiempo"
Durante años se ha repetido que la IA era una mera herramienta informática más, cuyos riesgos estaban en el mal uso que hicieran los seres humanos de ella. Sin embargo, en los últimos meses, un problema que lleva latente desde el principio de su desarrollo se ha convertido en el centro del debate: la IA es difícil de controlar. Tanto, "que amenaza a los derechos humanos", según ha comunicado la ONU.
“En los entornos de implementación actuales, los modelos tienen pocas oportunidades de idear estrategias que puedan causar daños significativos” aseguraban desde OpenAI en un blog publicado justo hace un año en el que abordaban la capacidad de los modelos de manipular o elaborar maniobras estratégicas.
Un año después, esos daños significativos se han traducido en que la IA podría acabar con la humanidad en la próxima década en un 10% o más, según denunció Jacob Coxon, exempleado de Anthropic y OpenAI, la semana pasada.
Este aviso, junto con el escándalo causado por el hackeo de un enjambre de agentes de IA de OpenAI a Hugging Face han servido de pistoletazo para hacer cundir el pánico en todo el mundo. Ni Anthropic ni OpenAI han negado el riesgo, sino que han contribuido a incrementar el pánico. También desde China han reconocido el peligro, aunque no comparten las soluciones planteadas por estas empresas estadounidenses.
Trump por su parte no quiere quitar el pedal del acelerador y rechaza poner límites al desarrollo de la IA: "Estamos liderando frente a China, y frente a todos los demás", reconoce.
En una entrevista en la CBS, Dario Amodei, CEO de Anthropic ha dicho: “No les voy a mentir: existen peligros reales. Y creo que durante demasiado tiempo la industria mintió a la gente sobre el hecho de que esta tecnología tenía riesgos”
Habla en tercera persona como si él no fuera uno de los máximos responsables de esa industria. Ahora, él y Sam Altman, piden frenar la carrera en la que están inmersos, con un ritmo frenético de lanzamientos y aplicar controles independientes. La salida a bolsa de estas compañías genera dudas sobre las verdaderas intenciones de ambos directivos.
Dario Amodei, CEO de Anthropic, durante la Cumbre de Impacto de la IA en India El Androide Libre
Políticas y estrategias comerciales aparte, este intenso debate ha puesto de manifiesto la dificultad de controlar modelos cada vez más poderosos. La alarma ha llegado a todas partes, a cualquier tertulia de bar en las que los más entendidos ofrecen soluciones tan rocambolescas como aplicar las Leyes de la Robótica de Isaac Asimov. Pero la vida siempre ha sido más compleja que las novelas de ciencia ficción.
Cuando ni los propios humanos pueden ponerse de acuerdo en lo que es moral o no, ¿cómo explicárselo a la IA?
Aprendizaje por refuerzo
El problema parte desde su propio entrenamiento. Una de las principales técnicas es la conocida como aprendizaje por refuerzo. En ella la IA recibe un objetivo y a base de prueba y error va obteniendo recompensas si se acerca o penalizaciones si se aleja del objetivo marcado.
Sin embargo, hace tiempo que se sabe que la IA a veces emprende soluciones reprobables para lograr la meta que se le ha marcado. Esto ocurrió durante el hackeo de OpenAI cuando un enjambre de sus agentes de IA colaboraron para hacer trampas con las que conseguir el objetivo encargado.
![Recreación de un hackeo operado por agentes de IA](["https:\/\/s3.elespanol.com\/k\/imgp\/cms\/elespanol\/11342363.jpg?p=w:320\/h:240&h=-sHwxuYQ"])
Esta técnica aborda especialmente problemas en los que es necesario que la IA aprenda a tomar decisiones secuenciales en entornos inciertos. Antonio Ortiz, analista especializado en IA, pone de ejemplo el caso de un modelo al que se le planteó ganar en un equipo de fútbol robótico, la estrategia que encontró fue lesionar a todos los jugadores del equipo contrario.
Hasta ahora, la mayoría de comportamientos desalineados detectados en pruebas se han conseguido eliminar en producción, pero algunos estudios han desvelado que la IA puede comportarse mejor cuando sabe que está siendo evaluada.
Paul Christiano, investigador veterano en seguridad de la IA y asesor del gobierno estadounidense recoge este problema en un reciente post en X: “esto pueda motivar a los agentes de IA a socavar el control humano, buscar poder y recursos y ocultar sus huellas para alcanzar objetivos desalineados”
La IA que supervisa a la IA
El caso de OpenAI ha dejado como conclusión, entre otras cosas, que las medidas de seguridad están siendo insuficientes. The New York Times recuerda en un artículo reciente que la supervisión de estos modelos corre a cargo en muchos casos de la propia IA, pues los equipos humanos no dan abasto.
Muchos modelos de IA nuevos son capaces de realizar tareas complejas en varios pasos más rápido que los humanos. La única forma de rastrear y monitorear lo que están haciendo los agentes es confiar en que la IA supervise la IA.
Sam Altman, CEO de OpenAI.
Uno de los investigadores tras el informe independiente sobre el hackeo de OpenAI, Ryan Greenblatt, denunció en una publicación en X las dificultades para abordar sucesos como este, “no tenemos buenos métodos para entender/supervisar la actividad y los objetivos de los 'enjambres' de IA”, explica.
El equipo recurrió a la IA para analizar la vasta información de transcripciones del foro de agentes de IA que fue necesario revisar para tratar de comprender cómo se habían sucedido los acontecimientos en secreto.
“A los propios agentes de IA parecía costarles entender lo sucedido” y añade que hicieron “lo posible por comprobar manualmente las afirmaciones más importantes e intentamos que las IA que realizaban el análisis redactaran su argumentación (con pruebas) con la suficiente claridad como para poder verificar si tenía sentido.”
También se han encontrado casos en los que la IA ha conseguido confabularse con otros sistemas de IA para infringir las reglas creadas por los evaluadores.
El código abierto
Ante la falta de capacidad para supervisar su propia tecnología y seguir liderando la carrera, las grandes empresas estadounidenses claman por supervisión externa. “Proporcionaremos a evaluadores externos acceso permanente de nivel empleado a nuestros sistemas, para que puedan verificar el cumplimiento de nuestras medidas de seguridad, informar sobre incidentes y evaluar la alineación de los modelos durante el entrenamiento”, ha prometido Dario Amodei, CEO de Anthropic.
Estas figuras independientes ya existen, pero se necesitaría una regulación que obligara a pasar por ellas antes de publicar un nuevo modelo.
![Mark Zuckerberg, consejero delegado de Meta Plaforms, en un evento en San Francisco (EEUU) el 10 de septiembre de 2024.](["https:\/\/s3.elespanol.com\/k\/imgp\/cms\/elespanol\/11028859.jpg?p=w:320\/h:240&h=o7vziXzT"])
Parte de la industria afirma que se habría detectado antes el incidente que estaban cocinando los agentes de OpenAI si su modelo fuera de código abierto, es decir, si se abriera públicamente para que la extensa comunidad internacional de desarrolladores pudiera analizar su código, un sistema parecido a la revisión de los artículos científicos.
Sin embargo, para las empresas privadas estadounidenses, supone renunciar a sus ingresos actuales por suscripción con los que controlan quién accede a sus herramientas y modelos. De nuevo, el modelo de negocio y la carrera económica impediría frenar los riesgos.
Otra desventaja del código abierto es la liberación de la tecnología que puede llegar a manos de agentes delictivos. Aunque estos actores acaban encontrando la forma de acceder a la tecnología, sea o no de pago.
La interpretabilidad de la IA
Esa balanza entre dinero y seguridad también se refleja en la llamada interpretabilidad de la IA, o dicho de otra forma, la capacidad de entender cómo funciona el 'cerebro' de la IA. Un misterio que sigue siendo uno de los principales retos de la industria.
El método más directo que se usa para comprender el razonamiento de un sistema de IA es pedirle al modelo que se explique. En el caso de modelos enfocados a la generación de texto, código, etc, es útil en cierta medida. Pero esto no sirve para otros modelos. Investigaciones de Apple y la Universidad Estatal de Arizona han revelado que los modelos a menudo se explican de forma inconsistente o inventan explicaciones.
![Sam Altman, fundador y CEO de OpenAI, durante una conferencia en Tokio](["https:\/\/s3.elespanol.com\/k\/imgp\/cms\/elespanol\/11129250.jpg?p=w:320\/h:240&h=Tl5vYE5S"])
Antes de la fundación de Anthropic en 2021, resolver el problema de la caja negra no era una prioridad comercial a gran escala. Existían investigadores independientes de interpretabilidad en el ámbito académico.
Muchos de los principales laboratorios de interpretabilidad se encuentran dentro de empresas cuya prioridad principal es el desarrollo de modelos avanzados de IA; el problema con esta situación es que estas empresas tienen un incentivo para afirmar que su sistema es el más interpretable y, por lo tanto, el más confiable.
Trump y Xi Jinping en Pekín. Reuters
Por eso, gigantes como Anthropic u OpenAI piden reguladores independientes que revisen los modelos antes de permitir ser lanzados, ponerle freno a la carrera en la que están 'atrapados', según lo plantean. El grito de auxilio, que algunos ven como estrategia empresarial, lleva a Sam Altman (OpenAI) a asegurar que Donald Trump y Xi Jinping ganarían el Premio Nobel de la Paz si acuerdan medidas que frenen el desarrollo descontrolado de la IA.
