Sam Altman CEO de OpenAI Omicrono
OpenAI pausa el desarrollo de nuevos modelos de IA después de que sus agentes atacaran portales de la ONU y EEUU
La compañía afirma que sólo reanudará el entrenamiento de los modelos cuando esté segura de que puede controlarlos.
Más información: La IA de OpenAI intentó acceder sin autorización a portales oficiales del Gobierno de Estados Unidos
OpenAI, creadora de ChatGPT, ha confesado que no puede controlar a sus agentes de IA, y por eso, ha tomado la decisión de pausar el desarrollo de sus nuevos modelos más avanzados hasta que sea capaz de hacerlo.
El anuncio llega después de sucesivas revelaciones de que los agentes de IA de la compañía habían atacado y accedido a plataformas gubernamentales en Australia y Estados Unidos, y más recientemente, a un portal web de las Naciones Unidas.
En una entrada en su blog dedicado a la "desalineación" (el término usado por la compañía para describir comportamientos no deseados de su IA), OpenAI detalla cómo el agente consiguió salir de su entorno a través de una "brecha" en las restricciones de acceso que tenía impuestas.
El agente se aprovechó de un filtrado de DNS (los servidores de nombres que sirven para navegar por la Web) "insuficiente" en palabras de la compañía. Como consecuencia, OpenAI inicialmente detuvo el entrenamiento en cuestión, y posteriormente, ha decidido pausar el resto del entrenamiento, evaluación e inferencia con uso de herramientas para sus "modelos más capaces".
La pausa durará hasta que la compañía sea capaz de validar que esa brecha está resuelta y haya ejecutado pruebas adicionales en el sistema, aunque no ha podido dar plazos concretos de cuándo los agentes volverán a ponerse en marcha.
Además, OpenAI ha admitido que espera tener que "pausar de nuevo" los modelos en el futuro, cuando inevitablemente consigan encontrar otra brecha que les permita acceder a sitios sin autorización.
La decisión llega después de varios reportes, algunos corroborados por la propia compañía, de que los agentes de OpenAI están usando técnicas más propias de hackers para acceder a la información que necesitan, sin importar de dónde la tienen que obtener.
La semana pasada, el gobierno de Australia confirmó que su servicio de salud fue hackeado por uno de estos agentes y que la compañía tardó tres meses en informarles. Durante el ataque, la IA obtuvo estadísticas sanitarias y nombres de archivos internos, aunque la compañía afirma que no ha encontrado pruebas de acceso al historial de los pacientes.
La misma motivación, obtener más información, estuvo detrás del intento de acceso a los portales del Departamento de Educación, el Departamento de Comercio y el SEC (Securities and Exchange Commission) de los Estados Unidos. El gobierno niega ningún "impacto significativo" como resultado de estos intentos de acceso.
Por último, este domingo el investigador de seguridad Rowan Howard-Jones ha revelado que agentes de OpenAI escanearon la página de estadísticas de la UNCTAD, la división de comercio y desarrollo de las Naciones Unidas.
Según el investigador, los agentes probablemente tenían la tarea de obtener datos disponibles públicamente sobre el Índice de Capacidades Productivas (PCI por sus siglas en inglés), pero no contaban con el acceso directo oficial.
Por lo tanto, los agentes decidieron buscar maneras de saltarse las limitaciones de acceso y obtener los datos con un método de 'fuerza bruta', usando técnicas de enmascaramiento para evitar ser bloqueados por los sistemas de seguridad de la página. OpenAI no ha confirmado aún este ataque.
