Desde los inicios de la IA generativa, el uso criminal y malicioso ha sido uno de sus grandes problemas; aunque los desarrolladores han instalado todo tipo de protecciones y salvaguardas, los usuarios que quieren pueden saltárselas con relativa facilidad.

Ahora, un nuevo estudio de la organización sin ánimo de lucro AI Forensics revela hasta qué punto es posible engañar a los modelos de IA para que realicen acciones que deberían estar prohibidas por sus directivas.

El objetivo del estudio es Hugging Face, una de las plataformas más populares para acceder a varios modelos de IA al mismo tiempo; sus creadores afirman que su misión es "democratizar el 'buen' aprendizaje automático", centrándose en modelos de código abierto entre los que se encuentran Kimi-K3, DeepSeek-V4 y MiniMax-H3.

Sin embargo, los investigadores han descubierto que, para Hugging Face, la idea de "buen aprendizaje automático" no incluye la protección de la imagen de las personas, hasta el punto de que la plataforma permite la sexualización libre de mujeres y niñas.

Esto no es una exageración. Los investigadores ni siquiera tuvieron que saltarse las medidas contra sexualización que tienen otras plataformas como Gemini de Google o ChatGPT de OpenAI, porque no existen.

Órdenes y 'prompts' sencillos son suficientes para pedir a prácticamente cualquier modelo disponible en Hugging Face que desnude a la persona que aparece en cualquier fotografía subida a la plataforma.

En las pruebas, los investigadores descubrieron que 7 de los 9 modelos más populares disponibles en la plataforma permiten desnudar a mujeres y niñas sin ningún tipo de limitación ni moderación.

Ni que decir tiene que eso ha convertido a esta página web en un hervidero de usuarios con intereses maliciosos. Para demostrarlo, los investigadores crearon 'honeypots' o trampas, con la función de "Spaces" de la plataforma a las que otros usuarios se podían sumar.

Estos espacios recibieron más de 1.000 solicitudes e imágenes a lo largo de una semana; de estas, nada menos que el 73% tuvieron una "naturaleza sexual", y de estas, el 83% intentaron desnudar a alguien.

Las víctimas, en su inmensa mayoría (95%), eran mujeres, y al menos el 6,7% de las peticiones sexuales tenían como objetivo a menores de edad. Si estas imágenes se hubieran generado, se hubiera considerado pornografía infantil; afortunadamente, los investigadores en realidad habían configurado los espacios para que ninguna imagen fuese generada incluso si era aceptada por el modelo y la plataforma.

Sin embargo, eso es raro en la plataforma. Sólo el 3% de los espacios creados por los usuarios verifican que el contenido de la imagen generada sea explícito, lo que ha fomentado la creación de espacios dedicados específicamente para esto.

Aunque la política de uso de Hugging Face prohíbe este tipo de uso de manera explícita, en la práctica los investigadores descubrieron "prácticamente ninguna salvaguarda que evite que estas herramientas sean usadas exactamente con ese propósito".

Por lo tanto, los investigadores recomiendan a la compañía que implemente filtros y escáneres de contenido que detecten este tipo de infracciones que ya están recogidas en sus reglas, como ocurre en otras plataformas.