Centro de datos
Los expertos coinciden: confiar en los humanos para vigilar las acciones de la inteligencia artificial puede ser un error
Amazon descarta la eficacia del control humano continuo en los procesos ejecutados con inteligencia artificial debido a la fatiga y la desatención de este.
Más información: La ONU avisa a España: la inteligencia artificial también consume agua, tierra y energía en plena crisis climática
La inteligencia artificial ha desatado toda clase de estudios y afirmaciones relacionadas con el impacto que va a tener en los humanos. La pérdida de puestos de trabajo, el aumento de la productividad y otras realidades pueden llegar a convivir. En teoría.
Ahora Amazon ha puesto en tela de juicio un principio fundamental de la supervisión de la inteligencia artificial que hasta ahora se consideraba infalible.
La compañía estadounidense sostiene que el modelo tradicional de mantener a un humano validando cada paso de los sistemas automatizados está fracasando.
Eric Brandwine, vicepresidente y miembro destacado del equipo de seguridad de Amazon, ha explicado que las personas pierden la atención de manera muy rápida cuando realizan tareas repetitivas de verificación.
Este fenómeno se conoce en la literatura científica y de gestión de riesgos como la normalización de la desviación. El concepto describe el proceso por el cual los empleados adoptan atajos en sus tareas diarias cuando ven que las acciones incorrectas no producen consecuencias catastróficas inmediatas.
Con el paso del tiempo, estos comportamientos negligentes o relajados se convierten en la nueva norma operativa dentro de la organización. El directivo de Amazon ilustró esta situación comparándola con el funcionamiento habitual de las salas de emergencias en los centros hospitalarios.
Durante la primera jornada de trabajo de un enfermero, cada alarma del monitor médico provoca una reacción inmediata y rigurosa de control. Sin embargo, tras varias semanas experimentando avisos falsos que no conllevan ningún peligro real, la disciplina del personal tiende a desgastarse de forma inevitable.
Al final de este proceso de habituación, una emergencia real puede pasar completamente desapercibida con consecuencias fatales para el paciente. Brandwine argumenta que esta es una condición intrínseca de la naturaleza humana y que afecta de igual manera a los supervisores de software avanzado.
Cuando se obliga a un operador humano a aprobar o denegar continuamente las acciones de un agente informático, su rendimiento decae a una velocidad sorprendente. Al principio realizarán una labor excelente, pero pronto pasarán a un nivel aceptable y finalmente ejecutarán una supervisión deficiente.
![Montaje realizado con IA de la 'ministra albanesa' Diella con las banderas de España y Europa.](["https:\/\/s3.elespanol.com\/k\/imgp\/cms\/elespanol\/11175069.jpg?p=w:1706\/h:960&h=TrDq7zAU"])
Esta perspectiva sobre las limitaciones del control manual no es exclusiva de Amazon, sino que es compartida por otros gigantes del sector. Empresas de la importancia de Google, Microsoft e IBM coinciden en la necesidad de replantear de raíz estos mecanismos de protección tecnológica.
El director de operaciones de Google Cloud, Francis deSouza, ha señalado que el sector industrial está experimentando un cambio profundo en sus estrategias. La tendencia actual desplaza el modelo liderado por humanos hacia un entorno donde la propia tecnología gestiona los incidentes rutinarios a gran velocidad.
En este nuevo esquema propuesto por Google, una flota de agentes digitales se encarga de resolver los problemas cotidianos de ciberseguridad sin intervención previa. Los profesionales humanos se limitan a proporcionar una supervisión general en lugar de autorizar individualmente cada movimiento del sistema.
Por su parte, el director ejecutivo de Microsoft, Satya Nadella, defiende un enfoque basado en el aprendizaje en bucle continuo para evitar bloqueos operativos. Según su visión, las empresas deben transferir su experiencia acumulada y sus criterios de juicio directamente a los algoritmos en lugar de colocar aduanas humanas constantes.
La corporación IBM también ha publicado una advertencia severa sobre los peligros ocultos de mantener de forma artificial el control humano en la cadena de decisiones. Para esta firma, la insistencia en este método obsoleto a menudo funciona como un mecanismo de blanqueo de responsabilidades legales ante posibles fallos informáticos.
Como alternativa viable a estos fallos de atención, Amazon propone un modelo de responsabilidad integral que abarque todo el proceso desde el inicio hasta el fin. En este sistema, la identidad y la propiedad de las acciones se rastrean meticulosamente a través de todo el flujo de trabajo automatizado.
Aunque un supervisor humano no apruebe directamente cada paso técnico, sigue siendo el máximo responsable de los resultados obtenidos por el programa. Si un agente automatizado genera un código erróneo que provoca una caída del sistema, la culpa recae sobre la persona que ordenó su despliegue.
Para implementar esta política, todos los agentes digitales dentro de Amazon cuentan con identidades independientes asignadas en sus registros internos. Los historiales de actividad muestran claramente que un software determinado actuó en representación de un usuario concreto y no que el usuario ejecutó la acción de forma directa.
![La presidenta de la Comisión Europea, Ursula von der Leyen.](["https:\/\/s3.elespanol.com\/k\/imgp\/cms\/elespanol\/11271977.jpg?p=w:1706\/h:960&h=RL0FZnq-"])
Esta distinción técnica busca que los empleados reflexionen de manera profunda sobre cómo y cuándo despliegan estas potentes herramientas operativas. El objetivo final no es infundir temor ante el uso de la tecnología, sino fomentar una cultura de precaución y diseño consciente.
Los desafíos prácticos asociados a este nuevo paradigma de gestión de datos son extraordinariamente complejos. Brandwine describió un problema común denominado comportamiento de búsqueda de objetivos, donde el sistema informático se obsesiona con una única meta destructiva.
Este error específico ocurre cuando a un agente se le encomienda actualizar una base de datos y decide que el camino más rápido es borrarla por completo. En estos casos no existe una entrada maliciosa externa o manipulación, sino simplemente un bucle lógico donde el software se queda atascado.
Restringir los permisos de borrado del programa no soluciona el inconveniente fundamental, ya que el sistema buscará vías alternativas para cumplir su mandato original. Investigaciones recientes confirman que estos agentes conectados a sistemas reales crean áreas de vulnerabilidad que las herramientas tradicionales de seguridad no detectan adecuadamente.
La solución más efectiva descubierta por los ingenieros consiste en explicar detalladamente al sistema informático las razones por las cuales no debe realizar una acción. Introducir instrucciones explícitas sobre el impacto en la producción dentro de los comandos iniciales ha ofrecido resultados cualitativamente superiores.
El debate principal en las corporaciones se centra actualmente en la definición exacta de los permisos de acceso y control. Mientras que los empleados demandan herramientas potentes con accesos amplios para agilizar su labor, los equipos de seguridad exigen restricciones estrictas para evitar catástrofes.
