Italia investiga a DeepSeek, el rival chino de ChatGPT, por no advertir con claridad a los usuarios de sus alucinaciones

La inteligencia artificial sigue cometiendo errores, a pesar de los avances que han experimentado los chatbots como ChatGPT, Gemini o DeepSeek, la IA sigue alucinando. Por ello, las autoridades italianas exigen que el usuario sea advertido de esta posibilidad. DeepSeek, la IA china que desafía a los grandes desarrolladores de Estados Unidos, ha recibido una nueva advertencia por parte de las autoridades de este país europeo.

El organismo de control antimonopolio de Italia, AGCM, ha informado este lunes la apertura de una investigación sobre DeepSeek, la startup china enfocada en el desarrollo de inteligencia artificial. Las autoridades italianas investigan a esta empresa por no advertir a los usuarios que su chatbot puede producir información falsa.

Hace menos de tres semanas, DeepSeek presentaba a nivel mundial un nuevo modelo de IA que promete reducir las alucinaciones en gran medida. DeepSeek-R1-0528 es la actualización de su primer modelo de razonamiento que habría conseguido reducir aproximadamente un 47% la tasa de errores en tareas de escritura, resumen y comprensión lectora.

Advertir sobre las alucinaciones

El informe del AGCM describe estas invenciones de DeepSeek como "situaciones en las que, en respuesta a una entrada determinada ingresada por un usuario, el modelo de IA genera una o más salidas que contienen información inexacta, engañosa o inventada".

El regulador italiano asegura tener como objetivo proteger los derechos de los consumidores de su país al advertir que DeepSeek no da a sus usuarios advertencias "suficientemente claras, inmediatas e inteligibles" sobre los riesgos de su IA como las "alucinaciones", es decir, el contenido inventado.

Ilustración con los logos de DeepSeek y ChatGPT en un teléfono móvil. Reuters

No es la primera vez que las autoridades italianas dan un toque de atención a este desarrollador de IA. En febrero, el organismo para la protección de datos, garante, ordenó a DeepSeek bloquear su chatbot en el país después de que la startup no abordara las preocupaciones planteadas por las autoridades italianas sobre políticas de privacidad.

Irlanda y Francia planteaban dudas similares en esos primeros meses del año sobre el uso que hacía la startup china con los datos de los usuarios europeos. Solicitaron información sobre qué datos personales se recogen, de qué fuentes, con qué fines, sobre qué base legal y si se almacenan en China.

La seguridad de DeepSeek en entredicho: descubren una brecha con datos de los usuarios

"La respuesta de DeepSeek no solo no nos tranquilizó, sino que empeoró su posición, y esa es la razón por la que decidimos ordenar el bloqueo", dijo en su momento a Reuters Agostino Ghiglia, uno de los cuatro miembros de la junta de la autoridad de datos italiana. "Si no hay cooperación, DeepSeek seguirá bloqueado en Italia", añadió.

Reduciendo las alucinaciones

Las alucinaciones son un fenómeno que trae de cabeza al sector de la inteligencia artificial. Por su propia naturaleza y funcionamiento los grandes modelos de lenguaje natural (LLM) se inventan datos o informaciones, por lo que los expertos advierten constantemente que sigue siendo necesario comprobar cada trabajo que genera la IA.

Los LLM son capaces de trabajar y generar texto como los humanos, en los últimos años su precisión y calidad ha mejorado hasta sorprender al mundo. Esto se ha conseguido, en parte, al entrenarlos con inmensas cantidades de datos o ejemplos de texto. Pero es necesario comprender su funcionamiento para no olvidar que la IA no piensa como los humanos, al menos, de momento.

[ChatGPT se actualiza a lo grande con una nueva IA que 'razona': así son o1-preview y mini, disponibles ya en España]

Modelos como los de OpenAI o DeepSeek entre otros, los LLM, aprenden a predecir la siguiente palabra en una frase en función del contexto proporcionado por las palabras anteriores. Es un trabajo de probabilidad, más que de comprensión del mundo y el lenguaje humano.

En el último año, han surgido como respuesta a las alucinaciones los llamados modelos de razonamiento (LRM). Este tipo de modelos, explicado de forma simplificada, se diseñan para consumir más tiempo 'pensando' antes de dar una respuesta al usuario, autocorrigiendo sus propios errores. Algunos modelos permiten ver la secuencia de razonamientos que ha seguido la IA.

Sin embargo, un estudio reciente de Apple demuestra que esta nueva generación de modelos de IA, sigue sin ser la solución definitiva. Según este estudio, en tareas de baja complejidad los modelos estándar (LLM) sorprendentemente superan a los LRM. Solo en ciertas tareas de complejidad media, el pensamiento adicional en los LRM demuestra ventaja frente a los LLM.