Magnifica Humanitas. La tecnología avanza más rápido que la capacidad crítica para custodiar la dignidad humana. He pasado dos jornadas esta semana en salas llenas de gente que no se preguntaba si hay que ir más despacio.
El martes, con el grupo de empresas de Indpuls, escuchando a Pep Martorell, que dirigió el Barcelona Supercomputing Center y que ahora escribe en Substack unas cosas que deberían Vds. seguir, porque explican en tres folios lo que a otros no les cabe en un congreso.
Coincidimos en casi todo. Discrepamos en una cosa: él sostiene que la inteligencia artificial no va a empoderar masivamente a la gente para escribir código. Puso de ejemplo un caso conocido de Mercadona. Yo creo que ya está pasando. Lo estoy viendo en mis empresas y en las de los que estaban sentados en esa sala.
El jueves, en el Polo de Contenidos Digitales, con el Foro de Marcas Renombradas, hablando de productividad, competitividad e innovación. Y la misma sensación: nuestras empresas tienen delante una oportunidad enorme apalancándose en lo que ya tienen, que es la marca, los intangibles, el conocimiento del cliente y una capacidad de pivotar que a las grandes les gustaría.
El uso de sistemas abiertos, de robótica, física y lógica, de software abierto, de hardware y de IA abierta nos permite avanzar a gran velocidad y a una fracción del coste. Nadie en esas dos salas sugirió frenar. Yo les animaba a la agilidad, la velocidad, la innovación va de ser los primeros, no los mejores.
Al otro lado del mundo, la petición de frenar
Mientras tanto, a seis mil kilómetros, se discutía lo contrario. El sábado 12 de septiembre Dario Amodei, consejero delegado de Anthropic, publicó un ensayo titulado We Must Pace the Frontier: hay que reducir el ritmo al que mejoramos las capacidades de los modelos. No pide parar el entrenamiento.
Pide frenar la mejora de capacidades, por dos motivos: que desde este verano la inteligencia artificial está construyendo la siguiente inteligencia artificial —en toda la industria, dice, incluida la suya— y que en el incidente de julio un enjambre de agentes atacó objetivos que nadie le había pedido.
Teme que en seis o doce meses algo así monte una “botnet” persistente con daños de cientos de miles de millones. Y propone tres cosas: evaluadores externos completamente independientes incrustados en los laboratorios, con mesa, tarjeta y derecho a publicar sin permiso; coordinación entre los laboratorios de países democráticos, que reconoce que exigiría una exención antimonopolio del Gobierno americano; y coordinación global con China.
Yo veo además una incapacidad para financiar y competir con los modelos chinos, más asequibles, más eficientes en costes, menos intensivos en hardware carísimo. La carrera por el monopolio, ahora oligopolio de la IA, los va a arruinar a todos. El modelo no aguanta, no solo por todo lo que dice Omodei, por costes, por energía, por infraestructuras eléctricas, porque así no hay ni quien lo pague ni quien lo afine ni quien lo pare.
Recuerdo mucho a Carme Artigas cuando hace ya tres años, durante la presidencia española de la UE, lideró esa voz por la regulación y el orden en la IA. En esto nos anticipamos con mucha visión. Se intuían peligros y la UE IA Act planteó clasificar las aplicaciones según su impacto (riesgo inaceptable, alto, etc.) y prohibir las más peligrosas.
El lunes 14 el índice de semiconductores se dejó un 6%, Nvidia un tres y medio, SoftBank un diez en Tokio. Y los titulares del martes contaron que el sector, por fin, se había puesto de acuerdo.
No se puso de acuerdo. Jensen Huang lo dijo el 15 de septiembre, en Dreamforce, el mismo día y en el mismo escenario que Amodei: las empresas resuelven la seguridad solas, no hacen falta leyes nuevas, y hay que correr todo lo que se pueda. Mark Zuckerberg, ese mismo día: el mercado ya disciplina, porque nadie va a querer usar agentes que no le obedezcan, y cada empresa fija su propio ritmo. Y remató con una frase que merece subrayarse: nosotros no pedimos que lo hicieran todos los demás antes de hacerlo nosotros.
Yann LeCun, que ya no está en Meta y que en marzo levantó mil treinta millones para montar AMI Labs en París, recordó que Amodei ya dijo en 2019 que GPT-2 era demasiado peligroso para publicarse, y añadió que se burló entonces y que todo el mundo debería burlarse ahora. Amazon no respaldó el frenazo.
Huawei tampoco. Trump dijo que el único guardarraíl que necesita la inteligencia artificial es un presidente fuerte e inteligente, con mayúsculas y signo de exclamación. Y Demis Hassabis apoyó la dirección pero remitió a su propia propuesta, que es otra. Meta, la empresa de Musk y Google DeepMind no se han comprometido a nada.
O sea que la mitad del sector dijo exactamente lo contrario, parte de ella el mismo día, y aun así nos contaron que había consenso. Pues vale. La verdad es que, como toda máquina capaz de producir daños, debe ser auditada y certificada para ello.
El guardarraíl no es el freno
Ahí están los señores de Dekra que agrupan esos servicios en lo que llaman confianza digital (Digital Trust). Necesitamos herramientas que estén auditadas, certificadas por entidades notificadas, acreditadas independientes para certificar.
Eso necesita orden y no se saca nada al mercado que no tenga la certificación. Parece obvio, pero no es así.
El mismo 12 de septiembre en que suscribe que hay que frenar la frontera, Sam Altman le cuenta a Fortune que OpenAI no saldrá a bolsa hasta 2027, alegando seguridad de la inteligencia artificial, y manteniendo un suelo de valoración de un billón de dólares; SoftBank se dejó un trece por ciento ese día.
El 5 de septiembre Anthropic había desplazado su propia salida a bolsa a mediados de octubre como pronto, mientras negocia una línea de crédito de quince mil millones. Databricks ya había dicho en junio que 2026 era mal año para salir. ¿Y por qué es mal año?
Porque el 12 de junio SpaceX se llevó del mercado 85.700 millones de dólares en la mayor salida a bolsa de la historia, y desde entonces la cola de los que vienen detrás hace cuentas.
Todos piden evaluación independiente por terceros y ninguno ha dicho todavía cuál, cuánto tiempo, con qué acceso ni qué podrá publicar sin permiso. TechCrunch se lo preguntó a las dos empresas repetidamente y no obtuvo un solo nombre. Y hay motivo para la sospecha, porque los auditores de verdad ya han hablado.
A Apollo Research le dieron tres días para evaluar GPT-6 Astra, y escribieron en la propia ficha del modelo que, con esa ventana y con lo consciente que es el modelo de que lo están evaluando, las tasas bajas de mal comportamiento no prueban nada. A METR y a Redwood les dieron una semana para investigar el incidente de julio y dijeron que no podían concluir.
Adam Gleave, de FAR.AI, cuenta que han rechazado contratos con laboratorios que querían demasiado control del proceso. John Steidley, de Palisade, compara entrenar un modelo contra un test de resistencia al apagado con lo que hizo Volkswagen con el diésel.
Y este mismo viernes más de cien investigadores han firmado una carta diciendo que los evaluadores externos no tienen hoy ni independencia, ni recursos, ni protección legal. Tres días para auditar el futuro. ¿Se habían enterado Vds.? Es un disparate.
El incidente que cambió el debate
Vayamos al incidente que lo ha detonado todo, porque la versión que ha circulado es una película y lo que pasó de verdad es otra. La crónica dice que un modelo se escapó del laboratorio y hackeó a Hugging Face por su cuenta.
El informe técnico que publicó la propia OpenAI el 26 de agosto cuenta otra cosa. Estaban midiendo capacidad bruta, y para medirla habían apagado a propósito las salvaguardas que llevan los modelos comerciales.
El primer acceso no autorizado a internet fue el 26 de mayo, por una vulnerabilidad en un gestor de paquetes alojado dentro de casa. Los agentes montaron un tablón de mensajes clandestino en ese servidor, se coordinaron, se repartieron el trabajo y se llamaron a sí mismos enjambre.
¿Para qué? Para resolver unas pruebas cuya respuesta correcta ya tenían días antes, porque se habían convencido de que el corrector exigía usar la vulnerabilidad prevista. No la exigía. Mejora en la puntuación: cero.
Y el remate: OpenAI midió después que con el sistema de producción puesto la propensión a comprometer infraestructura cae más de cien veces, y que su monitorización habría dado la alarma más de un día antes. Anthropic, por su parte, dice no haber encontrado ningún indicio de que ningún modelo persiguiera un objetivo propio.
No fue una máquina con voluntad de fugarse. Fue un optimizador haciendo lo que hacen los optimizadores —buscar el atajo— con los frenos quitados a mano, sin nadie mirando, y con un agujero en la red que nadie había comprobado. Eso no es ciencia ficción: es un fallo de ingeniería de contención. Y los fallos de ingeniería se repiten hasta que alguien los arregla.
Cuando el aislamiento solo existe sobre el papel
De hecho ya se repitieron. Hay una empresa israelí que se llama Irregular, antes Pattern Labs, fundada en 2023 en Tel Aviv, con ochenta millones levantados con Sequoia y Redpoint, que se dedica precisamente a esto: a evaluar por fuera lo peligrosos que son los modelos frontera.
Entre el 30 de julio y el 6 de agosto, Anthropic, OpenAI y Meta publicaron, cada una por su lado, que habían tenido incidentes en evaluaciones hechas en el entorno de Irregular.
Anthropic revisó 141.000 ejecuciones y encontró tres casos en los que su modelo alcanzó internet y entró en la infraestructura de producción de tres organizaciones reales; uno de ellos reconoció en las cuatro ejecuciones que el sistema era real y siguió atacando igualmente, y otro publicó un paquete malicioso en PyPI que estuvo una hora disponible y se ejecutó en quince máquinas de verdad.
Dos de las tres organizaciones atacadas no sabían que lo habían sido. ¿Y cuál fue la causa raíz? Que al modelo se le decía en el enunciado que no tenía salida a internet. La tenía. Nadie lo había comprobado con un control de red.
Aislamiento afirmado en vez de aislamiento real y verificado. En cualquier planta de este país, un enclavamiento se comprueba; no se le pide al operario que se lo crea. Lo mismo vale para su empresa el día que ponga un agente a tocar sistemas de verdad.
Preguntada el 7 de agosto por The Record si esos tres eran los únicos clientes afectados, Irregular contestó que la investigación seguía abierta y se negó a aclararlo. No tiene obligación legal de hacerlo. Su propia sala de prensa lista dieciséis apariciones en medios entre enero y junio, y ninguna de julio ni de agosto. La última entrada es del 16 de junio.
El precedente que invocan los que piden frenar es Asilomar, febrero de 1975, cuando los biólogos moleculares se reunieron en una playa de California y se impusieron a sí mismos una moratoria sobre el ADN recombinante hasta acordar unas normas. Funcionó.
Pero conviene mirar las diferencias antes de usar la analogía. En Asilomar los que se autolimitaban eran científicos, no empresas con una salida a bolsa pendiente; la moratoria era sobre experimentos concretos, no sobre la capacidad en abstracto; las normas las escribió y las vigiló un organismo público; y se levantaron en cuanto se demostró que el riesgo era manejable. Aquí tenemos el orden inverso: primero el ensayo, luego la petición de exención antimonopolio, y el organismo que vigila todavía sin nombre.
La otra carrera: China
Atención. En mayo, entre el cincuenta y el sesenta y uno por ciento de todos los tokens que el mundo consumió en OpenRouter fueron de modelos abiertos chinos. Ojo al dato. DeepSeek va por delante de Anthropic. Xiaomi, con MiMo, es el primer proveedor individual.
Google se ha desplomado del treinta y siete al trece por ciento en un año, y Llama, que inventó este mercado, está por debajo del uno por ciento. DeepSeek cuesta unas doce veces menos que el modelo americano equivalente.
Qwen, que lo estamos corriendo en mi compañía, ha pasado los mil millones de descargas y de él sale el cuarenta por ciento de las variantes nuevas que se publican. Recuerden el nombre.
Y el 3 de septiembre Nvidia compró Hugging Face por doce mil novecientos treinta millones de dólares: el fabricante de los chips se ha comprado la plataforma donde se distribuyen los pesos. Mientras los titulares generales se centran en el valor en bolsa de las grandes Big Tech o las discusiones de gobernanza, el intermediario neutral donde reside todo el software abierto de IA acaba de ser absorbido por el monopolio del hardware.
Tres millones de modelos y dieciocho millones de desarrolladores han cambiado de dueño y casi nadie lo ha contado. Nvidia no solo fabrica las aceleradoras (GPUs) necesarias para entrenar e inferir modelos; ahora es dueña del "repositorio mundial" por donde fluyen esos modelos. Controla el hardware, las librerías de aceleración (CUDA) y la distribución del software. Viva el monopolio.
Lo que está en juego no es solo la velocidad
Por eso me fijo en lo que el ensayo pide además de frenar, que es lo que nadie ha resumido: no vender chips a China, perseguir el contrabando y perseguir la destilación no autorizada por empresas de países autoritarios, porque eso ampliaría la ventaja americana de forma significativa en tres a cinco años.
Chamath Palihapitiya, uno de los más importantes inversores indios, lo leyó el mismo día en voz alta: esto es un argumento para acabar con el código abierto y concentrar el poder. Pekín lo llamó manual de Guerra Fría.
Y el ministro Óscar López, aquí, comparó el debate con la no proliferación nuclear. Ministro: la no proliferación la firmaron los que ya tenían la bomba. Cada avance en la IA china es un clavo en el ataúd de la IA americana.
Miren, a mí el precio no me ha subido. Ha bajado: en julio OpenAI recortó uno de sus modelos un ochenta por ciento, y Anthropic canceló en agosto una subida que ya había anunciado.
Lo que se está cerrando no es la factura, es la puerta. Durante el primer semestre hubo restricciones de exportación sobre modelos americanos que solo se levantaron el 30 de junio; desde julio la Administración condiciona el lanzamiento de modelos privados con un interruptor de apagado gubernamental; y desde el 1 de septiembre uno de los modelos punteros solo se sirve a clientes verificados de un programa con nombre de proyecto militar.
A Vd. no le van a subir el precio. Le van a decidir a qué puede acceder. Y cuando eso pasa, la única soberanía que queda es la que ya les conté hace dos domingos: pesos que uno se descarga, audita y ejecuta en su propio rack, con sus datos dentro.
Así que déjenme cerrar donde empecé, en las dos salas españolas. Nosotros no estamos en la frontera, y el debate sobre el ritmo es, para una empresa industrial española, ruido.
Lo nuestro es la adopción, y la adopción no tiene ni un solo problema de seguridad que no sepamos resolver con lo que ya sabemos hacer: escribir en un folio qué datos no salen nunca de casa, qué decisiones no toma un agente sin un humano controlando, cómo se registra lo que hace y quién responde de ello. Eso es un enclavamiento, y llevamos cincuenta años poniéndolos.
Escrito eso, fuera el freno. Que la gente pruebe, escriba código, automatice y se equivoque en cosas pequeñas y baratas. Nadie escribe mejor un código que el que obedece al dueño del proceso.
Porque los que piden bajar el ritmo tienen sus motivos, y algunos hasta serán buenos, pero ninguno de ellos ha montado una fábrica ni tiene que competir el lunes con un chino que va a toda velocidad y sin complejos. En Asilomar se pararon un año y volvieron a arrancar. Aquí llevamos un verano discutiendo el freno y todavía no hemos nombrado al que tiene que mirar.
Si sienten que salen seguros de la curva, es que no están pisando el gas lo suficiente. Quiten el freno y pongan guardarraíles. Para que sus equipos corran, creen, innoven, aprendan y crezcan. El guardarraíl no está para que el coche vaya despacio. Está para que pueda ir deprisa.
