Tu libertad en manos de un algoritmo

Una de las pocas grandes leyes acordadas entre Republicanos y Demócratas en Estados Unidos peligra por un uso equivocado de la inteligencia artificial. El problema tiene contra las cuerdas en este momento al Departamento de Justicia y al de Prisiones. Cuando estaban a punto de aplicar un sistema de beneficios penitenciarios a miles de reclusos, se ha puesto en cuestión el proceso de evaluación, lo que deja a todos, partidarios, detractores, familias, jueces, abogados e interesados en una situación incierta.

La First Step Act fue aprobada en 2018 bajo la administración Trump. Buscaba resolver la sobrepoblación de las cárceles y la saturación del sistema penitenciario. La ley activaba los Créditos de Tiempo Ganado (ETC por su sigla en inglés), es decir aquellos créditos que permiten reducir el tiempo en la cárcel de los presos que cumplan una serie de requisitos.

El potencial de reincidencia es uno de los más importantes para valorar el acceso a estos créditos. Y, en los últimos tres años, ganó peso específico un sistema de inteligencia artificial que realiza un informe personalizado que establece un índice en función de los datos de cada candidato al programa.

Ese algoritmo está hoy en tela de juicio y es lo que pone en peligro la ejecución de la medida. En un informe emitido a finales de 2021, el DOJ (Departamento de Justicia) admite que su herramienta algorítmica para evaluar el riesgo de que una persona en prisión vuelva a delinquir, y que por eso no tenga derecho a formar parte de los programas de “rehabilitación”, produjo resultados desiguales y sesgados. El algoritmo, conocido como Pattern (del inglés “patrón”), predijo en exceso el riesgo de que muchas personas negras, hispanas y asiáticas cometieran nuevos delitos o violaran las reglas después de salir de prisión.

Según denuncia Aamra Ahmad, asesora principal de políticas de la Unión Estadounidense de Libertades Civiles, "el Departamento de Justicia encontró que solo el 7% de las personas negras en la muestra fueron clasificadas como de nivel mínimo de riesgo en comparación con el 21% de las personas blancas". Ahora la Justicia federal se enfrenta al reto de reevaluar a las 14.000 personas en prisión que fueron agrupadas en la categoría “equivocada” por el algoritmo y a una fuerte presión de organizaciones sociales que denuncian el impacto provocado.

Este tipo de herramientas de evaluación de riesgos son comunes en muchos estados norteamericanos. Han levantado numerosas suspicacias en el pasado, como sucedió con el programa COMPAS en Florida, pero el sistema judicial siempre ha explicado que se trataba de plataformas de apoyo que cada juez podría tener en cuenta o no en los casos que analiza.

Sin embargo, esta es la primera vez que el sistema de justicia federal le deja mucho poder de decisión al algoritmo. Es Pattern el que divide a todos los presos en dos grupos, condicionando su suerte. Por un lado, las personas que pueden participar en los programas formativos, obtener créditos y salir antes de la cárcel; y por el otro las que no pueden.

¿Qué parámetros tiene en consideración Pattern y por qué no se han tomado medidas para mitigar los sesgos?

Para dar su puntuación, Pattern se basa en parámetros muy sencillos y a la vez controvertidos (y politizables) como los antecedentes penales de los presos, el nivel de educación o si el preso pagó restitución a sus víctimas.

En su informe de diciembre, el Departamento de Justicia concluyó que algunas de las disparidades podrían reducirse, "pero no sin incurrir en otras desventajas", como predicciones de riesgo menos precisas.

Aún así, está consultando con expertos sobre cómo hacer que el algoritmo sea más justo y ya está en marcha otra revisión de Pattern.

La prensa norteamericana, además, apunta a que el Departamento de Justicia terminó la primera versión de Pattern a toda prisa debido a un plazo ajustado del Congreso, y esto podría haber influenciado el resultado final.

La opinión pública y de los expertos (tanto en el campo de la IA como en el campo jurídico) está dividida: hay quién exige más transparencia en el mecanismo de puntuación de la máquina, quién pide que se ajusten los puntos de corte entre las categorías de riesgo (lo que permitiría que más presos obtuvieran créditos para la liberación), los que están totalmente a favor del uso de un algoritmo “que tiene menos sesgos y prejuicios que los humanos”, y los que creen que se debe suspender el uso de Pattern de forma inmediata (como las más de 150 organizaciones y activistas que advirtieron contra el software defectuoso en 2020).

Hay una enorme dificultad de trasladar la ética a los algoritmos. Cuando se cruzan varias condiciones y objetivos, los sistemas de inteligencia artificial ponen de manifiesto las contradicciones humanas. Las autoridades quieren reducir el número de presos. No desean que la raza o cualquier otro rasgo étnico influya en el proceso, que valore un fenómeno tan interpretable como el de la reincidencia, todo con un universo de datos que reflejan una realidad histórica y social con un marco moral ya superado y que, además, sea “justo y preciso. ¿No le estaremos pidiendo demasiado a la inteligencia, aunque sea artificial?

*** Adolfo Corujo es Chief Strategy and Innovation Officer en LLYC.