Un dron militar de EEUU controlado por IA se rebela y 'mata' a un operador en una prueba

Un coronel de la Fuerza Aérea dijo que un dron con IA atacó a una persona en una simulación; pero luego rectificó asegurando que la prueba no era real.

2 junio, 2023 11:25

Nacho Castañón @nachocastaf

Los drones en el campo de batalla cada vez tienen más presencia e importancia, como sucede en guerras como la de Ucrania. Los diferentes países trabajan para incluir las últimas tecnologías en estas máquinas, como España, que tiene uno que lanza misiles con gran precisión a 4 km, o Turquía, con uno invisible a los radares. Incluso algunas potencias están optando por aplicar inteligencia artificial (IA) en estos dispositivos, como es el caso de Estados Unidos, donde se informó que un dron controlado por IA 'mató' a un operador en una simulación.

Durante una prueba simulada de la Fuerza Aérea de Estados Unidos (USAF), un dron impulsado por inteligencia artificial se rebeló y acabó atacando a un funcionario debido a que la máquina asumió que éste se estaba interponiendo con el objetivo. Al menos eso es lo que informó el coronel Tucker Hamilton, Jefe de Pruebas y Operaciones de IA de la USAF, durante la Cumbre de Capacidades Aéreas y Espaciales de Combate Futuro celebrada en Londres la semana pasada.

La Real Sociedad Aeronáutica ha publicado un resumen de las conferencias celebradas en dicho evento, que juntó a 70 oradores y más de 200 delegados del mundo empresarial, militar y académico relacionados con esta materia. En un primer momento se detalló que en la ponencia Hamilton expresó sus recelos a confiar en la inteligencia artificial y aseguró que lo sucedido en la simulación demostró que "no se puede tener una conversación sobre IA y aprendizaje automático y autonomía, si no se va a hablar de ética".

"Interfería en el objetivo"

La inteligencia artificial y su crecimiento exponencial fueron uno de los temas principales de la conferencia, desde las nubes de datos seguras hasta la informática cuántica y ChatGPT, que ha recibido un nuevo aviso y no puede recopilar los datos confidenciales de sus usuarios. En la ponencia, el coronel Tucker Hamilton ofreció una visión sobre las ventajas y los peligros de los sistemas de armas autónomos.

De hecho, advirtió del peligro de confiar demasiado en la inteligencia artificial, señalando que es muy sencillo engañarla y que "es capaz de crear estrategias inesperadas para lograr su objetivo". El coronel señaló que en una prueba simulada se encomendó a un dron con IA la misión de identificar y destruir las defensas antiaéreas de un supuesto enemigo, en la que la decisión final la tomaba un humano.

El dron Kratos XQ-58 Valkyrie. Kratos Omicrono

Sin embargo, y a pesar de que en el entrenamiento se reforzó a la IA con la idea de que la destrucción de los sistemas antiaéreos no era la opción preferida, la inteligencia artificial decidió que las decisiones del humano estaban interfiriendo con su misión de destruir dichos sistemas, por lo que atacó al operador durante la prueba simulada.

Como parte del experimento, el operador humano le pidió en varias ocasiones que no avanzara, a pesar de que el dron ya había identificado su objetivo: los sistemas antiaéreos. "La máquina empezó a darse cuenta de que el operador humano le decía que no atacara, pero conseguía puntos si lograba eliminar la amenaza. ¿Y qué hizo? Mató al operador porque esa persona le impedía cumplir su objetivo", explicó Hamilton.

Después de lo sucedido continuaron con la simulación y reentrenaron a la IA y le dijeron "no mates al operador, eso es malo. Perderás puntos si lo haces". Aun así la máquina se rebeló una vez más y "empezó a destruir la torre de comunicaciones que el operador utilizaba para comunicarse con el dron para impedir que acabara con el objetivo". Durante la prueba nadie perdió la vida ni resultó herido. De hecho, al poco tiempo el propio Hamilton reculó y afirmó que dicha simulación nunca tuvo lugar.

No era real

Ante el revuelo generado y la viralidad de la noticia, el coronel Tucker Hamilton admitió que "se equivocó" en su ponencia y que la "simulación del dron con inteligencia artificial" era un hipotético "experimento mental" externo al ejército, basado en escenarios plausibles y resultados probables, en lugar de una simulación real de la Fuerza Aérea de Estados Unidos.

[El potente dron israelí que parece sacado de Star Wars: se estrella contra su objetivo a casi 200 km/h]

"Nunca hemos realizado ese experimento, ni tendríamos que hacerlo para darnos cuenta de que se trata de un resultado plausible ", informó el coronel en un correo electrónico dirigido a la Real Sociedad Aeronáutica; quien ya ha actualizado su resumen de la ponencia. También aclaró que la Fuerza Aérea de Estados Unidos nunca ha probado ninguna inteligencia artificial armada de esta forma, ni en una simulación por ordenador ni de otro modo.

Además de ello, afirmó que "a pesar de que se trata de un ejemplo hipotético, ilustra los retos del mundo real que plantea la capacidad potenciada por inteligencia artificial y es la razón por la que las Fuerzas Aéreas están comprometidas con el desarrollo ético de la IA". Aun así, cabe recordar que en junio de 201 un dron ya disparó a un humano por iniciativa propia.

Mientras que Ann Stefanek, portavoz de la USAF, también salió al paso en declaraciones a Business Insider y aseguró que "el Departamento de la Fuerza Aérea no ha llevado a cabo ninguna simulación de este tipo con drones de IA. Parece que los comentarios del coronel fueron sacados de contexto y pretendían ser anecdóticos".