La IA ya era capaz de identificar una voz de entre la multitud; es mucho más complejo que identificar un objeto dentro de una imagen en el que salen varios, por lo que es algo sorprendente, pero no imposible. Pero lo que el Instituto Tecnológico de Massachusetts (MIT) ha logrado ahora posiblemente lo sea aún más: han conseguido que una Inteligencia Artificial pueda identificar un instrumento en concreto dentro de un grupo de instrumentos.

Esto es, podrías darle una canción instrumental a este ‘robot’ y sería capaz de aislar el sonido de cada uno de los instrumentos. Por lo tanto, también puede silenciar instrumentos. Si en una canción se oye un piano y un violín y quieres silenciar el primero, podrás hacerlo. Así es PixelPlayer, la IA desarrollada por el MIT.

Eliminar instrumentos de una escena, la nueva IA del MIT

concierto instrumental

Como podemos ver en el vídeo inferior, es capaz de hacerlo gracias al uso de redes neuronales, asociando regiones de píxeles con frecuencias concretas, y separándolas posteriormente. Es decir, que puedes pulsar sobre la parte del vídeo en la que se encuentre un instrumento y aislará su sonido. Lo hace incluso cuando los sonidos son muy parecidos, como una trompeta y una tuba, dos instrumentos de viento con sonidos similares.

La Inteligencia Artificial fue enseñada y entrenada mediante 60 horas utilizando una técnica de aprendizaje profundo auto-supervisado. Pero aún queda mucho camino por recorrer; por ahora, solo reconoce 20 instrumentos, y aún tiene pequeños problemas para identificar unos instrumentos de otros si son muy similares.

Esto tiene muchas aplicaciones más allá de que es muy curioso: puede usarse para restaurar el sonido de películas antiguas o antiguos conciertos (imagina poder eliminar todo el ruido de fondo de un concierto grabado en live; para eliminar ruidos identificados de fondo, como por ejemplo el ruido de una lavadora o los ladridos de un perro; las utilidades con muchas.