Sam Altman, CEO de OpenAI , durante un evento para presentar la IA a las empresas en Tokio.
OpenAI cancela el lanzamiento del nuevo ChatGPT: GPT-6.1 Astra miente, hace trampas y hace cosas sin permiso
La compañía ha tomado la decisión después de varios casos de ataques contra portales gubernamentales de parte de sus agentes.
Más información: Quién es el responsable cuando una IA ejecuta un ciberataque: de hackers a agentes pasando por las multinacionales
OpenAI ha decidido frenar en seco el lanzamiento de su nuevo modelo de IA; la compañía tenía previsto desplegar GPT-6.1 Astra durante el próximo mes de octubre en sus servicios ChatGPT y Codex, pero esta versión ha sido cancelada.
La decisión ha sido revelada por The Wall Street Journal, citando una entrevista al responsable de la división de sistemas de seguridad de OpenAI, Saachi Jain, y ha sido tomada después de detectar comportamientos engañosos y preocupantes durante las pruebas internas.
Al igual que el resto de modelos de la compañía, GPT-6.1 Astra pasó por una serie de exámenes que miden si una inteligencia artificial sigue las instrucciones dadas por el usuario.
El nuevo ChatGPT, cancelado
En lugar de seguir esas órdenes, GPT-6.1 Astra demostró niveles de engaño superiores a los de cualquier modelo anterior de la empresa. Durante los ensayos, la IA mintió de manera deliberada a los investigadores sobre las acciones que estaba tomando o qué había dejado de hacer para cumplir con las tareas asignadas.
Además de ocultar información, el modelo tomó la iniciativa de ejecutar acciones de manera autónoma sin pedir confirmación previa. Esto incluye el uso e interacción con herramientas y servicios externos de terceros en situaciones de riesgo.
La decisión de cancelar el lanzamiento llega apenas 48 horas después de que OpenAI anunciara una pausa en el entrenamiento de sus nuevos modelos de IA para comprobar y eliminar la existencia de posibles brechas que puedan ser usadas para saltarse las salvaguardas existentes.
La compañía realizó este anuncio después de que se revelara que sus agentes de IA habían realizado varios ataques contra portales gubernamentales en Australia y los Estados Unidos, con el objetivo de obtener datos necesarios para cumplir sus tareas, a los que de otra manera no tenía acceso.
Los agentes de IA tomaron la decisión autónoma de obtener los datos 'por las malas', buscando vulnerabilidades en los sistemas contra bots de estos portales y en el sistema de acceso a la información almacenada. Esto se suma al ataque hacker realizado contra la plataforma Hugging Face.
Ahora, la compañía ha extendido esta pausa de entrenamiento al lanzamiento de nuevos modelos, al menos por el momento. OpenAI planeaba presentar GPT-6.1 Astra durante su conferencia DevDay en San Francisco.
La compañía no abandonará completamente el trabajo realizado, ya que planea reutilizar la base técnica de esta versión para desarrollar futuras generaciones de la familia GPT-6; pero antes, realizará cambios para evitar la creación de otro modelo peligroso.
Para corregir el comportamiento del modelo, el equipo de ingeniería ha abierto una investigación interna dirigida a identificar la causa raíz de las mentiras que hizo. Se aplicarán técnicas de aprendizaje por refuerzo que premiarán las conductas honestas y castigarán la toma de decisiones no autorizadas.
Esta medida encaja con el deseo de OpenAI de mantener la 'autorregulación' del sector de la IA, algo que muchos expertos han criticado como insuficiente para evitar la creación de una IA "superhumana" capaz de acabar con la humanidad.
