Una cruzada loable, necesaria, pero mal planteada y con consecuencias potencialmente desastrosas para la privacidad y, a la postre, la seguridad de los ciudadanos europeos. Así es como 300 científicos y expertos en ciberseguridad y telecomunicaciones, encabezados por la ingeniera Carmela Troncoso, una de las máximas instituciones en materia de privacidad online en Europa, además de dos premios Turing, los criptógrafos Ronald L. Rivest y Martin Hellman, ven la nueva propuesta legislativa de la Comisión Europea contra la pedofilia.
El reglamento, que sería de obligado cumplimiento en todo el territorio comunitario en caso de ser aprobado por los órganos legislativos de la Unión Europea, pretende escanear los dispositivos móviles y los ordenadores privados de los ciudadanos para encontrar material ilegal sospechoso de ser pornografía infantil, desde textos y fotos a vídeos. Lo haría mediante el método criptográfico conocido como hashing, una técnica de detección de contenidos potencialmente sensibles que, según los expertos, podría llevar a miles de ciudadanos inocentes a ver su privacidad violada y a ser víctima de numerosos "falsos positivos".
"A día de hoy no hay ni una sola técnica o método que sea lo suficientemente fiable para ser desplegado a tal escala", alerta el doctor Jorge Blasco Alís, profesor titular de sistemas computacionales en la Universidad Politécnica de Madrid y uno de los firmantes del texto. "Se trata de una carta a los Reyes Magos. La tasa de falsos positivos podría llegar a ser inmanejable y desbordar el sistema. Además, da acceso a las big tech y a los gobiernos a recopilar datos de forma masiva. Con un falso positivo cualquiera podría formar parte del radar de las agencias gubernamentales y ser sometido a vigilancia".
El doctor Jorge Blasco Alís, profesor de la Universidad Politécnica de Madrid
El borrador de ley, juzgan los denunciantes, obliga a los proveedores de cualquier aplicación o servicio en línea a escanear mediante un software con tecnología hashing los mensajes, las fotos, los correos electrónicos y todo tipo de actividades de sus usuarios sin necesidad de que estos los suban a la nube. Básicamente, lo que se busca es poder acceder a los 'lugares oscuros' a los que hoy sólo se puede entrar de forma física mediante una investigación policial. Cualquier elemento que alguien pueda tener un teléfono, desde fotos hasta correos o mensajes en una app con cifrado de extremo a extremo, como WhatsApp, sería susceptible de ser escaneado.
Este es, precisamente, uno de los puntos más conflictivos de la futurible regulación, que previsiblemente será aprobada o desestimada durante la presidencia de España de la Unión Europea: el espionaje de las aplicaciones encriptadas de extremo a extremo, como WhatsApp o Signal. La propuesta legislativa de la Comisión Europea alega que este escaneado puede hacerse en los dispositivos de los usuarios sin romper la encriptación, algo que, de momento, sólo se podría hacer mediante la utilización de un método llamado Client-Side Scanning, un sistema espía que puede acceder a las comunicaciones encriptadas sin romper, paradójicamente, la encriptación.
"Se dice que las garantías de confidencialidad que el cifrado de extremo a extremo provee no se ven afectadas por la regulación, lo cual no es verdad", alerta a EL ESPAÑOL | Porfolio Carmela Troncoso, directora del Laboratorio SPRING de Seguridad y Privacidad en la Escuela Politécnica Federal de Lausana (EPFL), en Suiza, y principal impulsora de la carta abierta contra el proyecto legislativo de Bruselas. "La propuesta, en este caso, consiste en escanear el dispositivo del usuario antes del cifrado, pero diciendo que no rompe el cifrado. No obstante, el propio escaneado elimina las garantías que el cifrado provee [...] Toda ley que imponga el CSS, o cualquier otra tecnología diseñada para acceder, analizar o compartir el contenido de las comunicaciones, dañará la encriptación sin lugar a dudas".
La única vez que se trató de llevar a la práctica un despliegue de CSS fue en 2021. Corrió a cargo de Apple. El gigante tecnológico encabezado por Tim Cook trató de utilizar una técnica de hashing para localizar los contenidos pedófilos subidos a iCloud o enviados por Messages. Fue un fracaso, pues resquebrajó la privacidad de los usuarios, los expuso a posibles hackeos y las organizaciones y colectivos en defensa de la privacidad online se les echaron encima. El experimento duró dos semanas antes de que la big tech reculase.
"Imaginemos un método muy familiar para tener privacidad: las paredes", continúa la experta. "Las paredes nos dan privacidad en nuestras casas evitando que nos vean u oigan. Nos dan libertad. Imaginemos ahora que nos dicen que pondrán una cámara que va a procesar voz e imagen y no hacer nada hasta que detecte un evento sospechoso de ser abuso infantil. En ese caso, enviaría una grabación a las autoridades. ¿Diríamos que las paredes nos siguen dando privacidad? Esta propuesta es lo mismo en nuestro hogar digital: nuestros dispositivos".
Espías digitales del futuro
"No es factible ni sostenible exigir a las empresas privadas que utilicen tecnologías de un modo que, ya sabemos, no puede hacerse de forma segura", condenaban los científicos en la carta remitida a la Comisión Europea el pasado lunes. "Dada la horrible naturaleza del abuso sexual infantil, es comprensible, y de hecho tentador, esperar que exista una intervención tecnológica que pueda erradicarlo. Sin embargo [...] la aprobación de esta legislación socava el trabajo reflexivo e incisivo que los investigadores europeos han aportado en materia de ciberseguridad y privacidad en Europa".
La propuesta de la Comisión, sugieren los científicos, va más allá de la detección de contenidos pedófilos: también exige que las imágenes o vídeos de este tipo sean analizados basándose en herramientas de inteligencia artificial. La propuesta de ley exige que el grooming –el acoso online para forzar a que un menor se involucre en una actividad sexual– sea analizado mediante técnicas de IA.
Uno de los ejemplos de lo desastrosa que puede ser una alerta por contenido pedófilo detectada por Inteligencia Artificial se vivió en Estados Unidos en febrero de 2021. Prácticamente todo el país estaba confinado por la pandemia de Covid-19. Fue entonces cuando Mark, padre de familia, decidió registrar en fotografías las heridas que su bebé mostraba en sus partes íntimas para poder enviárselas a su doctor, que en consecuencia le recetó unos antibióticos para frenar la infección. Sin embargo, Google catalogó el contenido enviado por Mark como CSAM (material de abuso sexual infantil), bloqueó su cuenta de Google y advirtió a las autoridades de San Francisco, que abrieron una investigación contra él.
"Las herramientas de IA pueden entrenarse para identificar determinados patrones con gran precisión", considera Troncoso. "Sin embargo, cometen errores de forma rutinaria, incluso errores que a un humano le parecen muy básicos. Esto se debe a que los sistemas de IA carecen de contexto y sentido común. Hay algunas tareas para las que los sistemas de IA están bien adaptados, pero la búsqueda de un delito muy delicado –como puede ser el comportamiento de grooming– no es una de esas tareas".
La ingeniera Carmela Troncoso, de la Escuela Politécnica Federal de Lausana, y principal denunciante
Otro de los grandes puntos de conflicto que destacan los 300 científicos denunciantes es el método empleado para el escaneo de los dispositivos privados de los ciudadanos: el fuzzy hashing o resumen perceptual. Básicamente, se trata de una técnica algorítmica que analiza los larguísimos códigos numéricos, una suerte de ADN digital, que identifican a cada imagen para detectar si estas coinciden con otros contenidos ilegales que ya figuran en las bases de datos de las autoridades policiales.
El hashing es efectivo, pero es un método fácil de manipular por parte de los delincuentes, lo que podría dejar expuestos a miles de ciudadanos inocentes a falsos positivos. "Hay dos casos en los que los falsos positivos pueden ocurrir. Un hash es una versión comprimida de una información. El falso positivo ocurre cuando dos imágenes resultan en el mismo hash, lo cual también puede pasar a propósito: se pueden crear imágenes para acusar a otros", considera Troncoso.
"Si yo fuese un delincuente podría hacer dos cosas", suma al debate el doctor Blasco. "Primero, si sé de alguna imagen sensible que esté en una base de datos y conozco el resumen perceptual o fuzzy hashing, yo puedo generar imágenes que no son iguales pero que tienen el mismo resumen perceptual. Podría hacer que la fotografía de una montaña tuviese el mismo que una imagen pedófila. Entonces, la envío de forma masiva por WhatsApp, generando una cantidad ingente de falsos positivos imposible de gestionar. Un positivo real se podría perder en un mar de falsificaciones".
La otra posibilidad es aún más peligrosa. "Imagínate que tenemos una imagen de pornografía infantil de la que hemos calculado su resumen perceptual, y yo, como delincuente, tengo esa imagen en mi disco duro. Puedo generar una serie de transformaciones para que el hashing sea muy diferente a la imagen original pero se siga viendo exactamente igual".
Que esta ley se apruebe, juzgan los expertos, no va a evitar que los delincuentes accedan y distribuyan contenidos ilegales, y sólo expone a los ciudadanos europeos a una merma de su privacidad. "Es obligar a la gente normal a dar las llaves de su casa al gobierno mientras en el mercado negro los malos siguen escapándose de la ley creando sus propias aplicaciones y trampas para sortearla; sería como tener a alguien que lea tus cartas antes de que las vayas a meter en el sobre".
Además, los firmantes también temen que las tecnologías hash puedan utilizarse en un futuro con fines autocráticos, como localizar a personas que sean críticas con el gobierno de turno. "Si la tecnología está ahí y se usa en una democracia, será muy fácil para otros países pedir utilizar la misma tecnología para otros usos que van en contra de los derechos humanos", zanja Blasco.
"Una carta profundamente irresponsable"
Javier Zarzalejos es eurodiputado del Partido Popular Europeo y ponente de la Comisión de Libertades Civiles, Justicia y Asuntos de Interior (LIBE). Es uno de los máximos impulsores y defensores del futuro reglamento. Para él no hay debate. Los científicos, en su opinión, han exagerado las repercusiones que tendría la normativa en la privacidad de los ciudadanos europeos. "Es profundamente irresponsable. La carta está desconectada de la realidad. No podemos seguir replicando los mismos discursos distópicos", explica el político a EL ESPAÑOL | Porfolio desde su despacho en Bruselas.
"Esa carta es una gran alegría para cualquier pederasta que esté colgado de un ordenador subiendo material de abusos sexuales, porque la conclusión es que no se puede hacer nada y que todo lo que se haga es contrario a los derechos fundamentales. Es terrible, y un mensaje que, por principios, no se puede aceptar. Lo que nosotros proponemos es que todas las compañías que ofrezcan servicios en la Unión Europea hagan un análisis de riesgo de los servicios que ofrecen desde el punto de vista de la difusión de abusos sexuales".
P.– Se alerta, precisamente, de la potencial avalancha de falsos positivos. ¿No le preocupa?
R.– Desde hace 2 años en la UE se procesan datos voluntarios, y esos millones de falsos positivos de los que se habla no han aparecido por ningún lado. No refleja la realidad. El hash es efectivo en un 99,99%. Hay millones de informes todos los años y no se ha producido una avalancha de 'falsos positivos'. La única diferencia entre lo que hay ahora y lo que propone el reglamento, es que ahora utilizar estos instrumentos de detección es voluntario y nosotros queremos hacerlo obligatorio.
P.– ¿Qué es exactamente lo que se va a 'intervenir' o escanear en los dispositivos móviles?
R.– Primero, detectar lo que ya existe. Imágenes que ya se están analizando. No se van a intervenir ni mensajes de voz ni conversaciones, como se dice. Estamos hablando de detección de textos en caso de grooming, y por supuesto de imágenes. También vamos a incorporar imágenes de abuso sexual producidas a través de inteligencia artificial generativa, que, por cierto, ya es delito en España. Lo que quiero decir es que vamos a utilizar unas herramientas de detección que ya se están usando, que funcionan, pero en cuya aplicación muchas compañías no están colaborando. Un marco de cooperación voluntario no es suficiente. Meta lo hace, Google también, ero necesitamos que el resto se sume.
El eurodiputado del Partido Popular Europeo, Javier Zarzalejos
P.– Pero tocar las comunicaciones encriptadas supone una clara vulneración de la privacidad en los chats.
R.– ¡Las comunicaciones encriptadas no se van a tocar! Hay algo que me sorprende de este discurso libertario: aceptamos restricciones normales en el mundo físico pero no queremos aceptar ninguna en el digital. Nosotros hemos incorporado al reglamento que se mantiene la integridad del cifrado de extremo a extremo. WhatsApp, por ejemplo, es un servicio de cifrado y, sin embargo, tú recibes un contenido que intentas mandar a tres personas de tu lista y te dice que 'este documento se ha enviado muchas veces'. ¿Cómo es posible que WhatsApp, un servicio de cifrado, sepa eso? ¿Hablan en la carta de eso? Sabemos que todos los meses unas 300.000 cuentas son anuladas. La encriptación no significa la impunidad. Hay sistemas, como el procesamiento de metadatos, por los que se puede saber si hay algo sospechoso.
P.– ¿Y ahí entra en juego el polémico CSS?
R.– Esto es como cuando los perros olfatean las maletas. No hace falta abrir todas las maletas, pero sí tener un perro que olfatea y te dice que ahí hay algo. La encriptación se va a mantener íntegra. Lo que se habla del Client Side Scanning es que puede ser una de las eventuales fórmulas en las que, sin atacar la encriptación –que es un proceso que afecta a la comunicación end to end; hasta que tú no aprietas el botón no vives en el espacio encriptado–, podría hacerse. Hay una serie de posibles desarrollos tecnológicos en los que este reglamento no se va a meter. Nadie dice que hay que aplicar el CSS. No prescribe una tecnología concreta. El reglamento no dice absolutamente nada del CSS.
P.– ¿Cómo es el proceso desde que se detecta un contenido hasta que se da la señal de alarma? ¿Podemos acabar en la cárcel por tener contenidos 'mal analizados' por la IA?
R.– Cuando salta un contenido pornográfico ilegal, este salta y las compañías lo detectan. Cuando se trata de nuevo material, o de analizar o detectar situaciones de grooming o extorsión... una vez se detecta se produce una verificación humana, un análisis llevado a cabo por una persona. Esto es esencial cuando manejamos herramientas de inteligencia artificial, porque las máquinas nunca van a tomar decisiones en este sentido. Si es positivo, tenemos un sistema de clasificadores: se produce un informe de acuerdo a unas características, con unos requerimientos estándar, y se hacen llegar al Centro Europeo para la Prevención del Abuso Sexual. Este centro, a su vez, lo hace llegar a la Europol para la posible identificación de las víctimas.
P.– Pero si una madre manda a su abuela una foto de su hijo desnudo en la playa... ¿Puede ser sospechosa de cometer una ilegalidad?
R.– Yo soy abuelo y tengo cuatro nietos, así que digo que no, eso se puede hacer con absoluta tranquilidad, de la misma manera que podemos tener en una iglesia cristiana o en los museos vaticanos ángeles o niños Jesús desnudos. Lo que debería tranquilizarnos es que cada vez que se produce esta discusión siempre se usa el caso del padre que manda a su médico los genitales de un niño que tiene una dolencia. Es el caso canónico. No hay muchos más, y eso que todos los días hay cientos de miles de comunicaciones. Las propias compañías y oenegés y la Policía te lo dicen: no hay ningún interés en inundar ni a las compañías ni a las fuerzas de seguridad con informes. No tiene sentido. Ser selectivo en la definición de estos contenidos es esencial. No queremos crear un Gran Hermano.
¿Cómo se aprueba un Reglamento?
Los Reglamentos son actos legislativos vinculantes de obligado cumplimiento en todos los países de la Unión Europea. No así las Directivas, que establecen los objetivos que cada una de las naciones debe alcanzar por su propia cuenta. Este borrador, Regulación para Prevenir y Combatir el Abuso Sexual Infantil, propuesto por la Comisión Europea en mayo de 2022 y asignado a la Comisión de Libertades Civiles, Justicia y Asuntos de Interior (LIBE) en la que Javier Zarzalejos, del Partido Popular Europeo, es ponente, entraría en la primera categoría.
Una vez la Comisión Europea elabora una propuesta de ley como esta, la envía al Parlamento Europeo para una primera lectura. Los europarlamentarios introducen las enmiendas pertinentes y, una vez el texto está estudiado y modificado, lo remiten al Consejo Europeo, que puede hacer dos cosas: aprobar el texto con la edición del Parlamento, acabando así el proceso de aprobación, o volver a modificar el texto, con lo que pasaría a una segunda lectura, donde se aceptará, rechazará o modificará el contenido, repitiendo así el proceso en caso de que haya nuevas modificaciones.
Los europarlamentarios votan en la sede del Parlamento Europeo, en Estrasburgo (Francia), la Ley de IA, la primera normativa sobre inteligencia artificial de la UE
Si el Consejo rechaza otra vez el texto, se entra en una fase de conciliación donde se nombra una comisión con representantes de los dos órganos –Parlamento y Consejo– para llegar a un acuerdo. En caso de que se produzca un entendimiento, el texto vuelve por tercera vez al Consejo y al Parlamento, y si uno de ambos lo rechaza, la propuesta queda desestimada.
No obstante, este largo y tedioso procedimiento legislativo es poco habitual. Sólo el 2% de las propuestas llegan a la fase de conciliación y el 90% son aprobadas en primera vuelta. La causa es que existen los 'trílogos', grupos de tres representantes –uno de la Comisión, otro del Consejo y otro del Parlamento– que llegan con sus posiciones fijadas previamente y negocian hasta lograr un texto aprobable por sus respectivos compañeros de institución. Así es como se espera que se estudie esta ley, a la que ya se han añadido ya 1900 enmiendas.
'Puerta trasera' hacia el Gran Hermano
Sergio Salgado, miembro de Xnet, el Instituto para la Digitalización Democrática, considera que las explicaciones de Zarzalejos son insuficientes. "Tal y como está redactada la regulación no dice que el cifrado no se vaya a tocar. Entre lo que Zarzalejos dice que dice la regulación y lo que realmente dice el texto de la ley hay una gran diferencia. Si el cifrado no se toca, que lo pongan en la siguiente versión. Pero hoy por hoy, tal y como está el documento, es un grave peligro para el cifrado y, por tanto, para la seguridad de todo el mundo".
Salgado considera que si el cifrado de extremo a extremo no se va a tocar, pero al mismo tiempo se pretende conocer o escanear los contenidos enviados mediante mensajerías que usan el end to end, hay algo que falla. Y lo que más le preocupa es que esta normativa se vaya a aprobar, previsiblemente, durante la presidencia de España de la Unión Europea. Wired filtró hace una semanas un memorándum interno en el que se reunían las opiniones de los representantes de los ministerios del Interior de 27 países en los que conversaban sobre la aplicación de la ley, que ya se conoce entre los círculos de críticos como 'Chat Control'. "Me sorprendió leer que la posición de España era la más salvaje. Dijo, literalmente, que el cifrado hay que prohibirlo. No sé si es maldad o pura ignorancia".
[Ley europea contra el abuso infantil 'online': el Gran Hermano europeo]
Xnet, tal y como adelantó EL ESPAÑOL | Invertia, es firmante de la iniciativa Stop Scanning Me. En respuesta, el pasado mayo lanzó la campaña Stop #ChatControl para frenar la propuesta legislativa. A sus filas se han adherido otras organizaciones, como Éticas, Political Watch, The Commoners, DigitalFems, AlgoRace, Algorights, Guifi e Interferencia. La Red Europea por los Derechos Digitales (EDRi), también ha calificado el reglamento como un "sistema de vigilancia permanente con la capacidad de espiar a todo el mundo", una suerte de Gran Hermano amparado legalmente por la Unión Europea.
"Hay algo que no nos dicen. ¿Analizar las comunicaciones para detectar si hay explotación infantil sin violar nuestra privacidad? Es el mercader de Venecia: córtate un trozo de carne sin sangrar. ¿Qué tecnología puede hacer un escaneo de todas las comunicaciones sin debilitar el cifrado, sin violar la privacidad, sin observar contenidos que no estén estrictamente relacionados con el abuso y la explotación infantil? No sólo Zarzalejos no da respuestas satisfactorias, sino que hay 300 científicos que dicen que esta tecnología ni existe ni hay previsión de que exista. Y si existe, no nos dicen cuál es. Deben dar explicaciones".
[ChatGPT intenta esquivar la prohibición en Europa con un modo incógnito que protege tus chats]
Otra de las preocupaciones de Salgado es que la normativa de la Comisión Europea prevea la creación de un Centro de la UE en el que se recopilen todos los datos de los respectivos escaneos. Polonia ya se ha opuesto de forma tajante. "Lo único que hace esta norma es que lo que antes era voluntario, ahora sea obligatorio, además de draconiano. Y, lo segundo, que se cree un 'centro europeo', que no es un organismo de la UE, sino un superorganismo con poderes extraordinarios que puede llegar a hundirte la vida, meterte en una lista sin juicios y sin nada. Es un peligro".
"Hay un principio básico que hay que explicar a la ciudadanía: la seguridad en internet no se puede debilitar sólo para cosas buenas", finaliza el representante del colectivo Xnet. "No se pueden poner puertas traseras par que entren sólo los chicos buenos. El cifrado no se puede debilitar sólo para un fin. Introducir puertas traseras para cualquier cuestión debilita toda la seguridad de internet, y eso es un peligro para la seguridad de todos. Incluso la de los niños. Hasta nos pone en peligro ante amenazas extranjeras. Esto debe parar".
