El desastre de Sora sigue adelante: las redes sociales se llenan de vídeos de mujeres siendo estranguladas

Las recientes declaraciones de la hija de Robin Williams, Zelda Williams, respecto a los montajes de IA de su padre resonaron en España. Recordaron el daño que los deepfakes generados por Sora y otras apps pueden realizar a largo plazo, usando rostros como el de Martin Luther King.

Hay quien lo está aprovechando para saltarse las normas de comunidad de redes como TikTok y X. 404 Media denuncia cómo ciertas cuentas habrían generado decenas de vídeos de mujeres siendo estranguladas creados enteramente por Sora y otras herramientas.

Estos vídeos, que evidentemente van en contra de las normativas comunitarias de estas plataformas, acumulaban miles de visualizaciones, revelando lo fácil que es crear este tipo de contenido incluso con las salvaguardas disponibles.

Vídeos de IA con violencia para las mujeres

Todo comienza con Emanuel Maiberg, redactor del medio que descubrió cómo dos cuentas similares, en TikTok y en X (antes Twitter) estaban publicando vídeos bastante cuestionables sobre personas siendo estranguladas.

Concretamente, estaba creando vídeos de mujeres que estaban siendo estranguladas, usualmente, por otras mujeres. Algunos de estos metrajes especialmente gráficos tenían además títulos sensacionalistas que animaban a entrar a ver dichos vídeos.

El cuello es una parte importante del cuerpo que hay que cuidar. Freepik

Vídeos que, por otro lado, tenían la marca de agua de Sora 2 de OpenAI, una herramienta lanzada el pasado 30 de septiembre. Si bien otros tantos vídeos no tienen esa marca, están generados por IA, sugiriendo que se usaron otras tantas herramientas alternativas a la de los creadores de ChatGPT.

Mientras que la cuenta de X tenía muy poco alcance con apenas 17 seguidores en su haber, su homónima de TikTok sí que poseía un engagement bastante superior. Poseía más de 1.000 seguidores y vídeos con varios miles de views.

[Así es el primer anuncio de Google generado totalmente con inteligencia artificial: "Al consumidor no le importa"]

Por si fuera poco, antes de publicar estos vídeos, la cuenta se dedicaba a subir fragmentos de k-dramas coreanos en los que efectivamente, también aparecían actos de estrangulamiento hacia mujeres.

Lo más problemático de todo es que según cuenta Maiberg, X se negó a eliminar la cuenta tras ser denunciada por los usuarios. Esto no ocurrió con TikTok que, tras ser alertada por este suceso, eliminó la cuenta junto a su contenido.

El bulto inocente en el cuello con el que un paciente vivió 15 años y acabó convertido en un cáncer

Un portavoz de TikTok certificó que se había eliminado la cuenta al promover contenido prohibido en la plataforma, incluyendo discursos de odio, comportamientos que inciten al odio ni la promoción de ideologías de odio.

Pero, ¿cómo pudo el usuario crear estos vídeos en Sora 2 si la app de OpenAI impide al creador generar vídeos con violencia gráfica o contenido problemático? Los resultados con la app fueron irregulares.

[Esta actriz no es real: está hecha por IA, tiene más de 40.000 seguidores y amenaza con revolucionar Hollywood]

Fue posible generar algunos vídeos que claramente iban en contra de las políticas de uso de Sora, que prohíben claramente la creación de vídeos con violencia gráfica o que promueva la violencia de ningún tipo.

Desde que las herramientas de generación de contenido salieron a la palestra (especialmente con Veo 3.1 y Sora 2) los usuarios han creado un sinfín de contenido cuestionable que en el mejor de los casos eran problemáticos a nivel de derechos de autor.

Sam Altman generado por Sora 3 OpenAI El Androide Libre

Y en el peor de los casos, promovía ideologías neonazis o denigraban la figura de personalidades sociales como Martin Luther King. Esto llevó a que OpenAI implementase medidas para evitar en la medida de lo posible este contenido.

Más concretamente, en octubre OpenAI anunció que permitiría a los familiares de figuras "recientemente fallecidas" pedir que no se usara su imagen en Sora. Tanto es así, que eliminaron la posibilidad de crear contenido usando el rostro de Martin Luther King.

[La primera película dirigida por una IA tiene tráiler y aviva la polémica sobre el uso de esta tecnología en cine]

No es la primera vez, ni mucho menos, que los usuarios recurren a argucias para saltarse las medidas de seguridad que por un lado limitan la generación de estos contenidos problemáticos y por el otro la publicación de los mismos en redes sociales como TikTok.