Gemma Galdon: "Cuando un algoritmo discrimina a un trabajador, la empresa también es una víctima"

Cuando la ministra de Trabajo Yolanda Díaz anunció la conocida como ‘ley de riders’, la atención se centró en uno de sus puntos: los repartidores por cuenta ajena asociados a plataformas de reparto pasarían a ser asalariados.

Más desapercibido pasó el segundo requerimiento: la obligación corporativa de informar a los comités de empresa sobre los parámetros en los que se basan los algoritmos y sistemas de inteligencia artificial (IA) que pueden afectar a los trabajadores de cualquier tipo de empresa, y también a las condiciones de trabajo.

La ley se aprobó por Consejo de Ministros y se publicó en el BOE el 12 de mayo, pero aún estaba pendiente de creación la ‘Comisión de estudio de las repercusiones laborales de los algoritmos’, anunciada por la ministra. Hoy se ha conocido el primer producto de dicho comité, que dirige Gemma Galdon, fundadora de Eticas Consulting y pionera en auditoría ética algorítmica.

En esta entrevista en exclusiva con D+I, Galdon explica en qué consiste la ‘Guía sobre las Repercusiones Laborales de los Algoritmos’ que el comité y el Ministerio han presentado hoy, y cuál es su cometido y sus próximos pasos.

¿Cuál es la misión del comité?

El grupo nació tras el encargo que el Gobierno hizo a Eticas de elaborar un informe sobre el impacto de los algoritmos en el mundo del trabajo. Después de esa primera evaluación, me pidió crear un grupo de expertos para asesorar en la toma de decisiones en este ámbito. Nuestra misión es ayudar al ministerio a entender el impacto de la tecnología en el mundo laboral, mapear buenas prácticas y aportar claridad para desarrollar la ‘ley de riders’ en su apartado de transparencia algorítmica.

Nuestra misión es ayudar al ministerio a entender el impacto de la tecnología en el mundo laboral, mapear buenas prácticas y aportar claridad.

La Guía que presentamos hoy incluye una herramienta práctica para el cumplimiento de la obligación empresarial de información sobre el uso de algoritmos en el ámbito laboral que introduce la ley de riders, teniendo también como marco el Reglamento General de Protección de Datos (RGPD).

No queremos que lo que la ley plantea se convierta en un mero paso burocrático de evaluación teórica de impactos, o que cumplir la ley de riders abra un debate imposible sobre la obligatoriedad de entregar el código fuente de los algoritmos usados por las empresas. Queremos que esa transparencia se haga de una forma accesible y efectiva. Que permita que sepamos y entendamos cómo funcionan estos sistemas, los riesgos que entrañan y cómo se han mitigado y auditado.

¿En qué consiste, de forma sintética, el contenido de la guía?

La guía sitúa el encaje legal de la transparencia algorítmica en la ley de riders y el RGPD, ya que ambos abordan el tema de la transparencia (con un enfoque colectivo la primera, e individual el segundo).

A partir de la clarificación de qué establece y espera el regulador en este sentido, se propone una herramienta que establece las preguntas a las que se debe dar respuesta para permitir la valoración externa de los riesgos e impactos de los algoritmos desplegados en contextos laborales, desde la contratación al despido, pasando por la organización de la jornada laboral. Es una herramienta de comunicación efectiva y de transparencia de cómo se toman las decisiones en un sistema algorítmico.

La guía propone una herramienta que establece las preguntas para permitir la valoración externa de los riesgos e impactos de los algoritmos desplegados en contextos laborales.

Para ello, establece la necesidad de compartir la información más relevante sobre qué datos se han usado para entrenar al algoritmo o sistema en cuestión, cómo se han limpiado sus bases de datos de sesgos históricos, qué control se hace de cómo aprende el algoritmo, cómo se miden sus impactos, qué mecanismos de defensa tienen las personas afectadas negativamente por estos, etc.

¿Será de obligado cumplimiento?

Es un instrumento que facilita el cumplimiento de la ley de riders y los aspectos asociados contenidos en el RGPD. Estos se pueden cumplir de otras formas, pero con el riesgo de que no se consideren óptimas y las corporaciones tengan problemas con la Inspección de Trabajo.

Para su desarrollo, nos hemos inspirado en la herramienta de registro redistributivo para la equidad salarial que también publicó el Ministerio, ampliamente adoptada. Esta guía da claridad y seguridad legal también a las empresas, ya que las organizaciones pueden usarla para saber qué requerir a sus proveedores. Es documento que les puede asistir en la compra de software.

Todos estos son aspectos muy básicos que tendrían que formar parte de la política de incorporación de algoritmos en cualquier empresa. Por todo ello, aporta seguridad jurídica.

Algunas patronales tecnológicas argumentan que la obligación de informar a sindicatos y trabajadores de los algoritmos que les afectan traerá lo contrario: inseguridad jurídica.

En mi experiencia profesional -ya fuera del mundo del trabajo- cuando un algoritmo discrimina y toma malas decisiones, la empresa que lo aplica también es una víctima. Es tarea de todos y todas velar por que las herramientas de las que nos dotamos apoyan y fomentan las buenas prácticas y el cumplimiento del marco legal.

Cuando un algoritmo discrimina y toma malas decisiones, la empresa que lo aplica también es una víctima.

Desafortunadamente, en mi experiencia auditando algoritmos es frecuente ver sistemas de inteligencia artificial que no hacen lo que dicen, que toman decisiones sesgadas o que hacen cálculos de riesgo en base a variables muy cuestionables, y a menudo los clientes de estos sistemas (ya sean compañías privadas o instituciones públicas) no son conscientes de que están comprando un mal algoritmo. Por tanto, entendemos que regular eso es positivo para el empresario. Ningún desarrollador de algoritmos debe tener miedo de explicar cómo ha hecho las cosas bien.

Esas patronales están en contra de desvelar sus algoritmos y aseguran que vulnera el secreto comercial y su propiedad intelectual.

Nadie les está pidiendo que revelen sus algoritmos ni abran su código, ni es nuestra intención hacerlo.

¿Cuáles serán sus siguientes pasos?

Nos gustaría abrir un proceso de consulta con otros expertos y expertas a nivel global, para que la herramienta que hemos presentado hoy permita avanzar en transparencia algorítmica no solo a las empresas españolas, sino a las de todo el mundo, y sirva a otras administraciones para tener un ejemplo robusto de cómo hacer política tecnológica.

No hemos querido reinventar la rueda sino capturar las buenas prácticas existentes, añadirles valor y adaptarlas al marco legal español y europeo.

No hemos querido reinventar la rueda sino capturar las buenas prácticas existentes, añadirles valor y adaptarlas al marco legal español y europeo. La validación de la herramienta en otros países y sectores sería un muy buen siguiente paso, y valorar en otros contextos qué funciona y qué no.

¿Y qué funciona?

Hay muchos ejemplos de iniciativas para incorporar al mundo del trabajo, y en términos de regulación sobre el desafío de la entrada de los algoritmos y de la tecnología en el mundo del trabajo. La mayoría no pasa de las buenas intenciones, pero con nuestra herramienta inauguramos la era de las prácticas.

¿Qué otros ejemplos hay de buenas prácticas?

En transparencia, en Francia, Holanda y Suecia se han creado registros para declarar los algoritmos que se implanten en el sector público, aunque con un éxito aún regular. A nivel sindical, hay varios países con iniciativas para abrir periodos de consulta con los trabajadores y sus representantes antes de la incorporación de nuevas tecnologías en las empresas.

El debate sobre el impacto de la robótica y la IA en temas de seguridad y salud laboral lleva tiempo en la mesa. Desde Eticas estamos trabajando con empresas tecnológicas en la certificación de buenas prácticas tecnológicas y la definición de lo que llamamos ‘prospectos algorítmicos’. Estas iniciativas nos dan pistas sobre cómo incorporar los retos tecnológicos en la negociación colectiva y en los contratos. Además, están la auditoría algorítmica y las evaluaciones de impacto, ya contempladas en la legislación europea.

La tecnología puede estar presente y mediar toda la vida del trabajador. ¿De qué formas?

Podríamos distinguir cuatro áreas de implementación de algoritmos en el ámbito laboral. La primera se da en procesos de búsqueda y contratación, que afectan a las personas ya desde el momento en que buscan trabajo. Ahí vemos problemas de opacidad y sesgos -por ejemplo, de etnia o género- y patrones oscuros que sirven para tomar decisiones que afectan directamente al trabajador, pero sobre las que este no tiene ningún tipo de control.

En varios países hay iniciativas para abrir periodos de consulta con los trabajadores y sus representantes antes de la incorporación de nuevas tecnologías en las empresas.

La segunda categoría sería la de los algoritmos y tecnología para gestionar y controlar el desempeño de los trabajadores, y para despedir. La tercera son los que se usan para asignar tareas (como en las plataformas de reparto, entre otras). La cuarta es lo que se conoce como tecnologías de ‘perfeccionamiento humano’, que ayudan a superar las limitaciones del cuerpo humano. Por ejemplo, en el entorno médico hay cirujanos que operan a distancia a través de tecnología. La tecnología determina nuestra vida laboral de principio a fin.

¿Quieren abarcarlo todo?

Sí. Tanto esas cuatro grandes categorías como la larguísima lista de retos asociados a ellas. Por ejemplo, ¿de quién es la responsabilidad cuando el entorno de toma de decisiones es sociotécnico y el humano es solo una parte de un ensamblaje donde no solo este decide? Otros retos tienen que ver con las relaciones de poder, ya que el espacio laboral es muy poco democrático.

La idea de consentimiento libre e informado en un entorno que no es de libertad está muy cuestionada por los tribunales. Son algunos de los retos que estamos identificando y que hay que afrontar para proteger al trabajador y también para dar claridad al empresario.

¿Qué más ideas le gustaría incorporar?

Me gustaría que en España fuéramos pioneros en la creación de registros de algoritmos, por ejemplo. Por lo demás, estoy abierta a las propuestas del resto de miembros de la comisión y de los expertos, y a las necesidades del Ministerio de Trabajo. Además, antes de proponer medidas o políticas queremos testearlas con los actores sociales: patronal, sindicatos, colectivos de desarrolladores, grupos de personas afectadas por estos sistemas, etc.

Incluso podríamos hacer pilotos. Por ejemplo, tanto la herramienta que presentamos hoy como el registro algorítmico se podrían probar con la Agencia Española de Protección de Datos (AEPD).

La ventaja de elaborar políticas tecnológicas en un sector concreto como el laboral es que nos permite pensar en las soluciones desde las prácticas concretas, pero además las propuestas pueden después trasladarse a otros sectores. ¿La herramienta de transparencia algorítmica podría utilizarse también con los proveedores de algoritmos a la administración pública? ¿O se lo podríamos pedir al sector médico? Partir desde un sector y después generalizar nos permite tener mucho más impacto.

Es momento de implementar políticas concretas e innovadoras en tecnología. La fase de las ideas abstractas ya pasó.

Es momento de implementar políticas concretas e innovadoras en tecnología. La fase de las ideas abstractas ya pasó. Y para que esas políticas sean eficientes hay que probarlas de forma robusta.

Estamos acostumbrados a ver en el Gobierno consejos asesores multitudinarios, pero ustedes son 'solo' cinco los profesores de Derecho del Trabajo: Ana Muñoz y Adrián Todolí, de la Universidad Carlos III de Madrid y la Universidad de Valencia, respectivamente; la profesora del departamento de Derecho de ESADE, Anna Ginès; y el investigador del grupo de Informática y Análisis Numérico de la Universidad de Córdoba, Javier Sánchez-Monedero.

He querido que este sea un grupo de trabajo multidisciplinar pero reducido para hacerlo más ejecutivo. Para actuar, en lugar de dedicar el tiempo a ponernos de acuerdo los unos con los otros.

¿Propondrán más regulación?

Nuestro trabajo no es proponer que se cambien más cosas ni promulgar más leyes sino desarrollar las existentes. Por eso en el grupo hay expertos en derecho del trabajo: para explorar qué herramientas de la legislación ya existentes nos permiten desarrollar prácticas concretas en los marcos legales que ya tenemos, que a menudo no han sido pensados para el mundo algorítmico y los riesgos que emergen en la relación entre humanos y máquinas. Queremos cubrir ese vacío.

¿Cree que el trabajo de la Comisión que usted coordina podrá ser extrapolado a otros ámbitos fuera de lo laboral?

Creo que acabará teniendo impacto sobre muchas formas en las que se está abordando el reto del impacto social de la tecnología. Aspiramos a dar herramientas para que España sea un país líder en buenas políticas y prácticas tecnológicas.