Científicos de Oxford han creado un sistema capaz de leer los labios con un minúsculo margen de error.

No hay espía que valga que no sepa leer los labios; es una técnica difícil y propensa a errores, pero los maestros son capaces de enterarse de todo a distancia.

La dificultad de leer los labios

Claro, que puede que dentro de poco estas clases en la asignatura de espionaje no hagan falta. Todo gracias a LipNet, un nuevo sistema de Inteligencia Artificial que lee los labios con alta precisión.

Ya existen sistemas automatizados capaces de leer los labios, pero funcionan analizando cada palabra por separado; también suelen asociar fonemas con ciertos movimientos de labios.

leer-labios

Pero para leer los labios, es necesario capturar con detalle todos los complejos movimientos de la boca, e incluso así podemos fallar.

Por ejemplo, un mismo gesto en los labios puede corresponder a diferentes fonemas; el contexto y la persona que habla son detalles que hay que tener en cuenta.

El sistema capaz de leer los labios casi perfecto aún tiene que mejorar

Por eso LipNet se centra en analizar las frases completas, en vez de las palabras por separado.

ia-leer-labios-1

Los investigadores de Oxford hicieron que el sistema se tragase 29.000 vídeos de personas hablando a una cámara. Los vídeos duraban sólo tres segundos e incluían subtítulos.

Los resultados son evidentes, con una precisión del 93,4%; por contra, un sistema normal consigue una precisión del 79,6%. En ambos casos superan por mucho a los humanos, que en las pruebas consiguieron una precisión del 52,3%.

ia-leer-labios-2

93,4% es muy bueno, pero no perfecto. Además, el gran punto débil es que este sistema necesita que los labios estén mirando a la cámara y tengan la iluminación ideal.

Por eso el próximo desafío de los investigadores será enseñar a la IA con vídeos grabados en situaciones reales; las próximas pruebas consistirán en vídeos en diversos ángulos.

Si sale bien, LipNet podría ser de gran ayuda para personas sordas, por ejemplo.