El pasado 11 de marzo en el I Foro Contra el Odio celebrado en Madrid, el presidente del Gobierno, Pedro Sánchez, decidió dar un paso más en su batalla contra la polarización en internet. Y lo hizo presentando HODIO (Huella del Odio y la Polarización), una nueva herramienta impulsada por el Ministerio de Inclusión, Seguridad Social y Migraciones a través del Observatorio Español del Racismo y la Xenofobia (Oberaxe). De lo poco que sabemos sobre ella es que no está operativa todavía y que se encuentra en fase de revisión técnica. Pero desde su anuncio ya abrió, o reabrió, un debate (y unos cuantos memes) que va mucho más allá de la tecnología.
La idea es más que ambiciosa: monitorizar la presencia de odio en redes sociales, analizar y comparar plataformas como Instagram, TikTok, X, YouTube o Facebook, y publicar cada seis meses un ranking público que muestre qué espacios amplifican más ese contenido.
Pero según señalan expertos como Ofelia Tejerina, abogada y presidenta de La Asociación de Internautas: "Es preocupante la opacidad en cuanto al desarrollo técnico de la herramienta. No sabemos quién la creará, qué coste tendrá o qué datos se utilizarán para determinar qué es odio y qué no."
Aunque se presentara dentro del paquete de “grandes novedades y medidas del Gobierno frente a los tecno oligarcas”, ciertamente España ya lleva años desarrollando herramientas en esta línea. Desde 2022, el Oberaxe trabaja con ALERTODIO, una aplicación diseñada por la Universitat Politècnica de València que registra contenidos identificados como discurso de odio. En 2024, en colaboración con LALIGA, desarrolló FARO, una metodología de análisis para la identificación y análisis en tiempo real de los contenidos de discurso de odio con motivación racista, xenófoba, islamófoba, antisemita y antigitana, publicados en cinco de las plataformas de redes sociales (Facebook, Instagram, TikTok, YouTube y X, gracias al uso de la tecnología de LALIGA entrenada en el Monitor para la Observación del Odio en el Deporte (MOOD).
El foco no está solo en detectar, sino en medir, comparar y, sobre todo, visibilizar.
Ahora bien, una cosa es detectar patrones… y otra muy distinta es interpretar el significado real de un mensaje. Porque el lenguaje humano es complejo.
Las herramientas de procesamiento del lenguaje natural pueden identificar patrones, frecuencia de términos, intensidad del lenguaje o dinámicas de interacción. Pueden analizar millones de mensajes en cuestión de segundos. Pero el lenguaje humano no funciona como una base de datos. Está lleno de contexto, ironía, ambigüedad. Lo que en un entorno puede ser ofensivo, en otro puede no serlo. Lo que parece un insulto puede ser una cita. Lo que parece odio puede ser una crítica legítima.
Por eso, cuando hablamos de “medir el odio”, en realidad hablamos de medir indicadores asociados al odio, no el odio en sí. Ya que el odio como emoción, como intención… no es cuantificable de forma exacta.
El propio Gobierno ha señalado que “el sistema se basará en criterios académicos y estándares internacionales, con supervisión humana”. Pero esa afirmación, sin más detalle, deja más dudas que certezas. Qué criterios concretos, qué estándares, quién forma parte de ese equipo humano, cómo se entrenan los modelos, qué sesgos se corrigen, dónde se almacenan los datos. ¿La protección debe ser solo para colectivos minoritarios vulnerables o un modelo integral que proteja también a las instituciones?
La opacidad técnica, como ha advertido Ofelia Tejerina, es el núcleo del problema. El debate, sin embargo, no es solo técnico. Es profundamente jurídico.
No todo lo ofensivo es “discurso de odio” jurídicamente hablando.
Regular el odio implica entrar en el terreno de los derechos fundamentales. En España, la libertad de expresión está protegida por el artículo 20 de la Constitución y por el artículo 19 de la Declaración Universal de los Derechos Humanos (DUDH). Es uno de los pilares de cualquier democracia. Y, sí, como todos los derechos, tiene límites, no es un derecho absoluto. Pero esos límites no pueden ser difusos ni emocionales. Deben estar definidos por el Derecho.
Cada día vemos muchas expresiones ofensivas, que nos pueden resultar éticamente inmorales, reprochables o, incluso, repugnantes, pero que siguen estando protegidas por la libertad de expresión, como siempre apunta la magistrada Natalia Velilla. No debemos confundir la presión social y moral con actos delictivos.
El Código Penal, en su artículo 510, tipifica como delito promover, incitar o fomentar el odio, la hostilidad o la violencia contra determinados colectivos. No cualquier comentario ofensivo entra en esa categoría. No cualquier opinión desagradable es delito.
Como recuerda el jurista Borja Adsuara, “odiar no es delito, ni siquiera lo es expresarlo”.
Esto no significa que debamos minimizar el problema. Las redes sociales son hoy un espacio donde conviven desinformación, insultos, acoso y amenazas. Las consecuencias son reales y en muchos casos graves. Las amenazas, las injurias o las calumnias no son discursos de ocio, son delitos que deben perseguirse y denunciarse. Pero una cosa es perseguir conductas ilícitas y otra muy distinta es ampliar el concepto de odio hasta hacerlo difuso.
Ahí es donde el debate se vuelve delicado. Porque cuando un Estado empieza a definir qué es aceptable y qué no lo es en el ámbito de la expresión, el margen de error no es menor. Y el riesgo tampoco.
No es casual que organismos como ARTICLE 19 lleven años advirtiendo del riesgo de simplificar el concepto de “discurso de odio”. En su manual de referencia recuerdan algo esencial: no todo lo que nos incomoda, nos molesta o incluso nos indigna puede ni debe ser restringido. El derecho internacional obliga a los Estados a actuar únicamente ante las formas más graves de expresión, aquellas que incitan directamente a la violencia o a la discriminación (“instigación directa y pública a cometer genocidio”, “todas las formas de discriminación racial que constituya instigación a la hostilidad o violencia”, etc.) y lo hace a través de criterios exigentes como el llamado “umbral de Rabat”, que exige analizar el contexto, la intención, el alcance y el riesgo real de daño antes de limitar un mensaje.
El problema es que, cuando se diluye ese umbral, todo se vuelve más difuso. Y ahí es donde herramientas como HODIO entran en terreno delicado. Porque medir patrones de lenguaje puede ser útil para entender dinámicas sociales, pero convertir esos patrones en categorías normativas sin transparencia, sin garantías y sin un estándar jurídico claro puede terminar desplazando el debate desde el derecho hacia la interpretación. Y en ese desplazamiento, el riesgo no es solo equivocarse al medir el odio, sino empezar a regularlo sin distinguir con precisión qué debe protegerse y qué debe sancionarse.
¿Debe el Estado protegernos de las emociones de los demás o solo de los actos que provienen de ellas?
“No se puede castigar a nadie por criticar o insultar a una nación, al Estado o a sus símbolos, al gobierno, a sus entidades o a sus funcionarios públicos, o a una nación extranjera, a su Estado o a sus símbolos, su gobierno, sus entidades o sus funcionarios públicos, a menos que la crítica o los insultos tengan intención de incitar un acto de violencia inminente”. Principios de Johannesburgo, op. cit., Principio 7(b).
El Derecho no está diseñado para regular lo que sentimos. Está diseñado para regular lo que hacemos. El Estado no puede intervenir porque alguien experimente odio, pero sí debe hacerlo cuando ese odio se traduce en conductas que vulneran derechos.
Por eso, los expertos insisten en que cualquier herramienta pública debe: tener criterios claros y transparentes, estar sujeta a supervisión independiente, respetar el principio de proporcionalidad y, sobre todo, garantizar el control judicial.
El riesgo no está en analizar el fenómeno del odio. El riesgo está en utilizar ese análisis para regular emociones en lugar de conductas. Confundir ambos planos es abrir la puerta a una intervención excesiva.
Las “listas negras” y “listas blancas”
El problema se agrava cuando se plantea la posibilidad de generar rankings públicos. No tanto de plataformas, sino de usuarios o perfiles. Ahí el conflicto jurídico es evidente. El Reglamento General de Protección de Datos (RGPD, artículo t.9) establece límites claros al tratamiento de datos personales. No se pueden recopilar, procesar ni publicar datos sin base legal, sin finalidad legítima y sin garantías.
Un ranking de usuarios asociados a la difusión de odio podría derivar en estigmatización, errores de clasificación o daños reputacionales difíciles de revertir. Y, además, chocaría con derechos fundamentales como el honor, la reputación o la presunción de inocencia.
Por eso muchos expertos coinciden en que este tipo de herramientas deberían centrarse en analizar dinámicas colectivas, comportamiento de plataformas o tendencias agregadas, no en señalar a individuos o medios de comunicación, por ejemplo.
¿Las redes sociales generan el odio o, simplemente, lo amplifican?
En el fondo, la pregunta no es tanto tecnológica como social. Todo apunta a lo segundo. El odio no nace en internet, pero en internet encuentra condiciones ideales para expandirse. El anonimato reduce la percepción de consecuencias. La distancia digital diluye la empatía. Los algoritmos priorizan el contenido emocional. Y la lógica de la atención premia lo extremo.
El fenómeno de la desinhibición online está ampliamente documentado. Las personas dicen en internet cosas que nunca dirían cara a cara. Y eso no es casualidad. Es parte del diseño del entorno.
Desde luego no podemos negar que actualmente las redes sociales se han convertido en un espacio lleno de bulos, desinformación, insultos y acoso, no podemos minimizar las consecuencias que esto tiene en los usuarios. Hasta ahí, el consenso es amplio: nadie quiere que el anonimato sea un cheque en blanco para el ciber acoso y la violencia digital.
Sin embargo, el gran escollo de cualquier observatorio oficial no es la tecnología, sino el criterio. El objetivo debería ser perseguir el discurso cuando incita directamente a la violencia o la discriminación (actos) y no la emoción o el pensamiento en sí mismos.
El reto no es elegir entre libertad o protección. El reto es encontrar un equilibrio que nos permita convivir. Porque el odio en internet no es solo un problema tecnológico. Es, en gran medida, un reflejo de lo que somos como sociedad.
Por ello, más que prohibir o castigar, debemos prevenir y transformar el contexto social. ¿Cómo? Con políticas públicas de sensibilización y concienciación basadas en la educación en derechos humanos, promoción del diálogo social y alfabetización mediática.
