El reciente acuerdo entre OpenAI y Broadcom para que ChatGPT tenga sus propios chips de IA demuestra el impulso que el mundo está dando hacia esta tecnología. Una a la que España, no es ajena. La última innovación es un modelo capaz de reescribir su código.

Un modelo LLM desarrollado por el Instituto de Tecnología de Massachusetts, y que tiene como principal novedad su función de 'autoedición', que reestructura la información de diferentes maneras y generar sus propios datos para mejorar.

El modelo, llamado SEAL (Self-Adapting Language Model) consigue leer la información nueva que recibe y la reescribe, ejecutando actualizaciones sobre sí mismo y resultando en un aprendizaje autodirigido.

Un modelo de lenguaje "autoadaptativo"

El paper publicado por los investigadores del MIT en GitHub detalla muy bien esta revolución. El SEAL es un framework que "permite a los Large Language Models (LLM) autoadaptarse, generando sus propios datos de ajuste fino y directivas de actualización".

Cuando se produce una nueva entrada en el modelo, este produce lo que los investigadores llaman "autoedición". Dichas autoediciones suponen generaciones que pueden reestructurar la información de los LLM

La reestructuración puede darse, dicen los investigadores, de diferentes maneras; especificar hiperparámetros de optimización, actualizaciones basadas en gradientes o invocar herramientas para el aumento de datos son algunos ejemplos.

"Mediante el ajuste fino supervisado (SFT), estas autoediciones resultan en actualizaciones de tokens persistentes, lo que permite una adaptación duradera", detalla el paper realizado por los investigadores.

Para el entrenamiento del modelo, lo que incluye la producción de las autoediciones, los investigadores utilizaron un bucle de aprendizaje por refuerzo, "utilizando el rendimiento posterior del modelo actualizado como señal de recompensa".

La idea es que SEAL usa la generación del propio modelo para parametrizar y controlar el proceso de adaptación. De esta forma, los modelos pueden generar estos datos de ajuste fino y las autoediciones en respuesta a nuevas tareas o información.

¿Para qué sirve todo esto? De base, el modelo con SEAL es capaz de aprender por sí mismo sin la intervención de un humano, superando a modelos como GPT-4.1 usando datos generados por estos modelos.

Los investigadores hablan de una tasa de éxito del 72,5%, superando al aprendizaje en contexto como el entrenamiento en tiempo de prueba con autoediciones sin entrenamiento.

"Esto demuestra la capacidad de SEAL para aprender a configurar mejoras y estrategias de entrenamiento de forma autónoma, lo que permite una generalización robusta a partir de demostraciones limitadas", relatan los expertos.

¿Quiere decir esto que estamos próximos a una generación de modelos autoadaptativos? No; SEAL no está exento de problemas, y cuenta con algunas limitaciones propias de su naturaleza.

Desde el MIT admiten que el experimento de aprendizaje continuo revela cómo las autoediciones repetidas pueden causar lo que llaman un "olvido catastrófico". Básicamente, el rendimiento en las tareas anteriores se degrada bastante al aplicar nuevas actualizaciones.

"Esto sugiere que, sin mecanismos explícitos para la retención del conocimiento, la automodificación puede sobrescribir información previa valiosa". En esencia, la información nueva reescribe la antigua.

Los investigadores miran al futuro con ambición, imaginando modelos que además de adaptar sus ponderaciones, también sean capaces de razonar sobre cuándo y cómo adaptarse, "decidiendo a mitad de la inferencia si se justifica una autoedición".