Cuando el Estado subcontrata la inteligencia

En cada vez más ámbitos, lo que el Estado está haciendo no es solo informatizar procedimientos, sino externalizar partes sustantivas de la decisión pública a sistemas diseñados y mantenidos por proveedores privados, con reglas opacas, incentivos propios y, lo más importante, con una asimetría de poder que rara vez se reconoce.

La pregunta ya no es si la Administración usa software, sino qué sucede cuando el software y quienes lo controlan se convierten en piezas silenciosas de soberanía. 

Las becas, las ayudas, los subsidios, las inspecciones, la asignación de recursos, la priorización de expedientes, la detección de fraude o la evaluación de riesgos son decisiones sobre derechos, oportunidades y trato. En teoría, deberían ser decisiones justificables, revisables y sometidas a garantías.

En la práctica, cada vez con más frecuencia, se apoyan en modelos de puntuación, reglas automatizadas y sistemas de clasificación que se presentan como neutrales, pero que incorporan supuestos, objetivos y sesgos.

Un sistema que detecta fraude puede estar diseñado para minimizar falsos negativos

No hace falta imaginar un futuro distópico: basta con asumir algo mucho más mundano y más peligroso: que el proveedor optimiza para lo que le piden en un pliego (coste, rapidez, reducción de “fraude”, cumplimiento formal, etc.) y que, si el resultado produce daños colaterales, la responsabilidad se diluye entre “el sistema”, el contrato, el funcionario y una supuesta objetividad tecnológica. 

La idea de que un algoritmo “decide” es, además, engañosa. Quien decide es quien fija el objetivo, el umbral, la definición de riesgo y el margen de error aceptable. Un sistema que detecta fraude puede estar diseñado para minimizar falsos negativos, y eso implica necesariamente aumentar falsos positivos: es decir, acusar a inocentes.

En una tienda, el coste es una mala experiencia. En un subsidio, el coste puede ser que una familia pierda ingresos esenciales, que se le embarguen devoluciones, que sufra un estigma o que quede atrapada en una pesadilla burocrática.

En Michigan, un sistema automatizado de desempleo señaló erróneamente a decenas de miles de personas como defraudadoras, lo que muestra hasta qué punto una herramienta “eficiente” puede convertirse en una máquina de daño cuando no hay supervisión real, mecanismos de apelación efectivos y transparencia. 

Europa no es ajena a este problema. El escándalo neerlandés de las ayudas al cuidado infantil, en el que miles de familias fueron tratadas como defraudadoras con devastadoras consecuencias, ilustra el riesgo de automatizar la sospecha y convertirla en política pública.

Cuando el Estado subcontrata la inteligencia, subcontrata también parte de su soberanía

Lo mismo ocurre con sistemas de puntuación de riesgo para detectar fraude social o fiscal: cuando se combinan grandes volúmenes de datos, perfiles y opacidad, la frontera entre administración y vigilancia se difumina. Y una vez que la administración se acostumbra a “externalizar” el juicio a una puntuación, se vuelve más fácil sacrificar garantías con la excusa de la eficiencia. 

El problema no es solo ético: es institucional. La Administración tiene la obligación de explicar sus decisiones, pero la explicación se vuelve un simulacro cuando el criterio es un modelo propietario que nadie puede auditar de verdad.

Se habla de “transparencia algorítmica” como si bastara con publicar una descripción genérica, cuando lo que importa es poder comprobar qué variables pesan, cómo se calibran, qué errores se asumen y cómo se corrigen. Ese vacío de rendición de cuentas es exactamente el tipo de riesgo que la legislación europea ha empezado a reconocer.

El Reglamento General de Protección de Datos (GDPR) establece límites explícitos a decisiones basadas únicamente en tratamiento automatizado cuando producen efectos jurídicos o afectan significativamente.

Y la Ley Europea de Inteligencia Artificial clasifica como “alto riesgo” los sistemas utilizados para evaluar la elegibilidad o el acceso a servicios esenciales y beneficios, precisamente porque ahí los errores no son tolerables como si fueran recomendaciones de vídeo o publicidad segmentada. 

Sin embargo, la legislación, por sí sola, no resuelve el incentivo perverso, porque el otro gran problema es la dependencia. Una vez que una administración compra un sistema, migra datos, adapta procesos y forma personal, el coste de salida se dispara.

El proveedor no vende solo software: vende una forma de operar. Y cuando el Estado ya no puede cambiar sin dolor, lo que aparece es el “vendor lock-in” institucional, una privatización de facto de la capacidad operativa y de decisión.

Lo estamos viendo en debates internacionales sobre grandes contratos tecnológicos en sanidad o en servicios públicos: no es sólo “una plataforma”, es un nodo central del que depende el funcionamiento de un sistema entero. 

En España este debate existe, pero se mantiene en voz baja, casi siempre reducido a cuestiones técnicas o presupuestarias. Y es un error, porque aquí también hay automatización de decisiones, también hay proveedores, y también hay opacidad.

El problema no es que se use tecnología: es usarla sin construir las garantías, capacidades y controles democráticos necesarios. Cuando asociaciones civiles como Civio consiguen avances en tribunales para abrir las cajas negras de las decisiones automatizadas, lo que está defendiendo no es una curiosidad tecnológica, sino un principio básico: que la ciudadanía tiene derecho a entender y cuestionar las decisiones que afectan a su vida. 

Y no es sólo el Estado. La privatización de la decisión se está extendiendo a ámbitos privados que funcionan como infraestructuras sociales, como los seguros. La promesa de “personalización” en seguros es, en realidad, el riesgo de una selección cada vez más fina que puede convertir a personas en “no asegurables” o castigarlas con precios que reflejan no solo su comportamiento, sino proxies de salud, renta o vulnerabilidad.

En el mundo del seguro, la automatización y los modelos de precios no son neutrales: redibujan quién tiene acceso, quién paga más por inercia y quién queda fuera. Es otro ejemplo de lo mismo: decisiones importantes tomadas por sistemas complejos con incentivos comerciales, donde la opacidad no es un fallo, sino una ventaja competitiva. 

La conclusión es incómoda, pero necesaria: no estamos ante una mera modernización administrativa, sino ante un cambio en la arquitectura del poder. Cuando el Estado subcontrata la inteligencia, subcontrata también parte de su soberanía.

Y cuando los algoritmos deciden cada vez más cuestiones que nos afectan, lo que se pone en juego no es la eficiencia, sino la democracia práctica: la capacidad de pedir explicaciones, de apelar, de corregir injusticias y de asegurar que las reglas las decide quien debe decidirlas. Si el siglo XXI va a estar gobernado por sistemas automatizados, la pregunta no es si son sofisticados, sino si son auditables, contestables y, sobre todo, políticamente controlables. 

***Enrique Dans es profesor de Innovación en IE University.