Siete anillos inalámbricos para transcribir lengua de signos
Los anillos inteligentes que traducen el lenguaje de señas al instante: un enorme avance para las personas sordas
Investigadores de Corea del Sur han diseñado un sistema de siete anillos inalámbricos que prometen traducir las lenguas de signos.
Más información: Adiós a aprender idiomas: la función de traducción en tiempo real de Google para auriculares llega al fin a iOS
La Torre de Babel se queda corta frente al número de lenguas de signos que existen en el mundo. Según la Federación Mundial de Sordos, existen más de 300 lenguajes de señas. Esta forma de comunicación bebe mucho más de la cultura de cada región, comunidad o país, que el lenguaje hablado.
Esta rica diversidad supone en muchos casos una complicación para que las personas sordas, pero sobre todo con las oyentes, puedan comunicarse entre sí. En la era en que la inteligencia artificial permite la traducción instantánea mediante auriculares o el propio móvil de varios idiomas, parece lógico que la tecnología también se ponga al servicio de esta comunidad.
La industria tecnológica ya ha aportado soluciones en forma de guantes o sensores cargados de cables. En la mayoría de los casos, son dispositivos voluminosos que restan libertad de movimiento a los usuarios y requieren calibración personalizada.
"WRSLT permite la traducción en tiempo real en una oración, mediante una arquitectura totalmente inalámbrica y modular que se produce a través de usuarios y lenguas de señas", explican los investigadores de este nuevo invento liderado por la Universidad de Yonsei en Corea del Sur. El artículo con toda la información y los resultados se ha publicado en la revista Science Advance.
Siete anillos
Los siete anillos que conforman este nuevo sistema se enroscan alrededor de diferentes dedos como si fuera una pegatina. El sistema admite la detección de gestos estáticos y dinámicos. Cada anillo funciona de forma independiente sin necesidad de interconexiones físicas entre los sensores.
El equipo identificó siete dedos dominantes para simplificar la complejidad del hardware y no tener que anillar todos los dedos de las dos manos. Los dedos seleccionados son el pulgar derecho, el índice derecho, el corazón derecho, el dedo anular derecho, el dedo índice izquierdo, el anular izquierdo y el meñique izquierdo.
Cada anillo contiene un acelerómetro. Al igual que los teléfonos móviles, estos sensores permiten comprobar el movimiento del dispositivo, en concreto: mide la aceleración lineal y detecta la inclinación y la orientación del dispositivo en tres ejes. Sin ellos, tu smartphone no sabría cuándo girar la pantalla para pasar de un vídeo vertical a uno horizontal.
Los acelerómetros miden la orientación de los dedos y registran la dirección del movimiento de estos para generar la composición de la seña que está elaborando la mano. Estos datos, se envían a un teléfono inteligente o a un ordenador mediante la tecnología Bluetooth multilink. El último paso, implica el uso de un algoritmo para analizar los datos de movimiento y traducirlos a texto escrito.
Diseño de los anillos WRSLT
Además del acelerómetro de tres ejes, los anillos se componen de una unidad de administración de energía, un sistema en chip (SoC) Bluetooth de baja energía (BLE), una plataforma de anillo elástico y un imán para fijarlo al dedo. El dispositivo también incluye una batería compacta con una duración de casi 12 horas que se puede reemplazar fácilmente, permitiendo un uso continuo sin necesidad de desmontar completamente el sistema.
Formando una oración
Algunas propuestas anteriores a WRSLT utilizan cámaras para analizar la mano de la persona mediante reconocimiento de imagen. Pero los investigadores indican que este tipo de sistemas invade la privacidad de los usuarios.
Hay que tener en cuenta que la lengua de signos, al menos la española, implica también el uso de gestos faciales y corporales, las personas que usan este idioma suelen utilizar tanto el rostro como partes de su cuerpo para dar énfasis al mensaje, algo que se perdería con este sistema de anillos, a menos que se esté frente al individuo cuando signa y luego se aprecie la traducción para terminar de comprender el mensaje.
Demostración de WRSLT, anillos que traducen lengua de signos
El estudio confirma que WRSLT puede reconocer 100 palabras en Lengua de Señas Americana (ASL) y 100 palabras en Lengua de Señas Internacional (ISL). Cada gesto se procesa individualmente para que coincida con las plantillas de gestos entrenadas, pero la traducción final agrupa el mensaje completo en modo de oración.
El sistema se entrenó con un grupo de usuarios y luego se probó con otros que no participaron en el entrenamiento. Reconoció correctamente palabras en ISL con un 88,5 % de precisión y palabras en ASL con un 88,3 % de precisión.
Además, el tiempo promedio de inferencia de la red fue de 0,10 segundos para la traducción de una sola palabra y alrededor de 0,36 segundos para los ejemplos de oración completa como se muestra en el video. Requiere solo 14,3 mega operaciones de punto flotante por segundo (MFLOPS) por inferencia.
"A pesar de la variabilidad entre usuarios y las posibles diferencias en la alineación de los sensores, el sistema logró una alta precisión de reconocimiento, lo que valida la generalización y la robustez de la plataforma propuesta", asegura el equipo de investigadores.
El siguiente paso para el equipo de investigación es miniaturizar aún más los anillos y ampliar los datos de entrenamiento de la IA para incluir más palabras y diferentes lenguajes de señas.
