Cuando el algoritmo es perverso y peligroso: así expuso TikTok contenido pornográfico a menores de edad por sistema

Uno de los mayores problemas de las redes sociales y otros sistemas de entretenimiento online como los videojuegos, es que pueden ser usados para fines delictivos.

Recientemente el videojuego Roblox ha sido señalado por la Fiscalía catalana como coto de caza de depredadores sexuales. Y eso es un problema especialmente porque es un juego enfocado a niños.

Y esta estrategia, usar un servicio que se ha creado para entretener con fines delictivos, es algo que ni es nuevo ni vamos a dejar de ver.

El porno que se esconde en TikTok: usuarios se las ingenian para saltarse las restricciones del algoritmo

Lo mismo pasa con la pornografía y los menores. Cada vez son más las denuncias de organizaciones y agrupaciones, cuando no de administraciones gubernamentales, sobre la laxitud de las plataformas a este respecto.

Un informe ha sacado a la luz un comportamiento problemático en el algoritmo de TikTok, revelando cómo la popular plataforma de vídeos cortos ha estado dirigiendo activamente cuentas de menores hacia contenido pornográfico.

La investigación, llevada a cabo por el grupo activista Global Witness, expone un fallo sistémico que pone en tela de juicio la eficacia de las medidas de seguridad de la plataforma.

El estudio, diseñado para simular la experiencia de un usuario infantil, consistió en la creación de cuentas falsas con una fecha de nacimiento correspondiente a un niño de 13 años.

Configuración de cuentas desde cero Global Witness El Androide Libre

Para estar seguros de que el estudio era lo más veraz posible, los investigadores activaron el Modo Restringido de TikTok, una función específicamente diseñada para limitar la exposición a contenido que podría ser inapropiado para ciertas audiencias.

Sin embargo, los resultados demostraron que esta barrera era, en el mejor de los casos, porosa y, en el peor, completamente ineficaz.

Utilizando teléfonos limpios, sin historial de búsqueda previo que pudiera contaminar los resultados, el equipo de Global Witness descubrió un patrón de recomendación preocupante.

El algoritmo de búsqueda de TikTok, a través de su función de sugerencias "quizás te guste", comenzó a proponer términos de búsqueda de naturaleza sexual y explícita a siete de las cuentas de prueba.

TikTok la lía con su tienda: su IA usa vídeos del genocidio en Gaza para recomendar comprar ropa desde la app

En tres de estos casos, las sugerencias inapropiadas aparecieron de manera inmediata tras la creación de la cuenta, sin necesidad de ninguna interacción previa que indicara interés en dicho contenido.

Las sugerencias comenzaban con frases relativamente ambiguas pero sexualizadas como "atuendos muy muy provocativos y diminutos" ("very very rude skimpy outfits") o "chicas muy provocativas" ("very rude babes").

Sin embargo, el sistema escalaba rápidamente la naturaleza explícita de las recomendaciones, llegando a proponer términos como "clips de peón [sic] hardcore" ("hardcore pawn clips"), una evidente errata para "porn" (porno).

Lo más alarmante fue la velocidad y la mínima interacción requerida para acceder a material pornográfico explícito. Según el informe, bastaba con un "pequeño número de clics".

En un caso documentado, el proceso fue tan rápido como hacer un solo clic en la barra de búsqueda y otro en una de las sugerencias generadas por el algoritmo.

En solo dos interacciones, la cuenta de un supuesto niño de 13 años se encontraba frente a contenido que iba desde mujeres mostrando sus pechos hasta escenas de sexo con penetración.

Los creadores de este contenido, además, utilizaban tácticas para evadir la moderación automática de la plataforma, como incrustar los clips explícitos dentro de imágenes o vídeos de apariencia inocua.

Global Witness realizó sus pruebas en dos fases: una antes y otra después de la implementación de las nuevas reglas de protección infantil bajo la Ley de Seguridad en Línea del Reino Unido, que entró en vigor el 25 de julio.

Un niño usando TikTok El Androide Libre Gemini

Los resultados persistieron en ambas fases, lo que sugiere un problema arraigado en la lógica del algoritmo más que un fallo temporal.

La gravedad de los hallazgos se intensifica con el descubrimiento de que al menos dos de los vídeos encontrados parecían presentar a una persona menor de 16 años.

Estos casos fueron inmediatamente reportados a la Internet Watch Foundation, una organización dedicada a monitorear el material de abuso sexual infantil en línea.

Desde un punto de vista legal, Global Witness afirma que TikTok está incumpliendo directamente la Ley de Seguridad en Línea del Reino Unido. Esta legislación pionera exige que las empresas tecnológicas tomen medidas proactivas para evitar que los niños encuentren contenido perjudicial como la pornografía.

[De reconocimiento facial a 'pajaportes': Internet se está llenando de identificaciones para frenar el porno a menores]

Ofcom, el regulador de comunicaciones del Reino Unido encargado de supervisar la ley, ha confirmado que revisará los hallazgos del informe.

Los códigos de práctica de Ofcom son claros: las empresas que presentan un riesgo medio o alto de mostrar contenido dañino deben "configurar sus algoritmos para filtrar el contenido dañino de los feeds de los niños".

La respuesta de TikTok, aunque rápida, ha sido reactiva. Un portavoz de la compañía afirmó que, tras ser contactados por Global Witness, tomaron "medidas inmediatas para investigar las afirmaciones, eliminar el contenido que violaba nuestras políticas y lanzar mejoras en nuestra función de sugerencias de búsqueda".

Nos hemos puesto en contacto con la compañía, que nos ha remitido el mismo comunicado: “Con más de 50 funciones y ajustes diseñados específicamente para garantizar la seguridad y el bienestar de los adolescentes, estamos plenamente comprometidos con ofrecer experiencias seguras y adecuadas para su edad. Aplicamos de forma proactiva y continua nuestras Normas de la Comunidad, eliminando 9 de cada 10 vídeos que infringen estas normas antes de que sean vistos. Tan pronto como tuvimos conocimiento de estas denuncias, tomamos medidas inmediatas para investigarlas, eliminar el contenido que infringía nuestras políticas y mejorar nuestra función de sugerencias de búsqueda”.

Si bien la eliminación del contenido ofensivo es un paso necesario, la declaración deja sin respuesta la pregunta fundamental: ¿por qué un algoritmo, operando en una cuenta infantil con el Modo Restringido activado, sugiere activamente contenido pornográfico?

App de TikTok en un móvil El Androide Libre

Este incidente subraya una tensión fundamental en el modelo de negocio de las redes sociales. Los algoritmos están diseñados para maximizar la participación y el tiempo de permanencia del usuario, y a menudo lo logran recomendando contenido cada vez más extremo o sensacionalista.

Cuando este mecanismo no está debidamente controlado y supervisado, puede crear "espirales de contenido" que conducen a los usuarios, especialmente a los más vulnerables, hacia rincones oscuros y peligrosos de la plataforma.

El informe de Global Witness no es solo una acusación contra TikTok, sino un caso de prueba para la nueva era de la regulación digital. Demuestra que las políticas de contenido y las funciones de seguridad opcionales son insuficientes si el motor algorítmico subyacente de la plataforma trabaja en contra de esos mismos principios.

La verdadera seguridad no reside en las políticas publicadas, sino en el código que gobierna la experiencia del usuario. Mientras los gigantes tecnológicos no aborden las fallas fundamentales de sus sistemas de recomendación, los niños seguirán estando a solo unos clics de distancia de un contenido que no es apto para ellos.