Kaiming He, uno de los autores del artículo más citado del siglo XXI, da un discurso tras recibir un premio. Future Science Prize
Esta es la investigación más importante del siglo XXI según los propios científicos: adelantó en 2016 el futuro de ChatGPT
Los avances en inteligencia artificial están entre los trabajos más citados de los últimos 25 años, según un ranking elaborado por la revista Nature.
Más información: El erial de España en los Nobel: por qué nuestro país no gana en las categorías de ciencia desde el año 1959
La investigación científica más importante del siglo XXI no tiene que ver con la revolución de la edición genética que ha supuesto la técnica CRISPR, ni las vacunas de ARN mensajero que cambiaron el panorama de la Covid-19. Tampoco se trata de la fascinante primera fotografía de un agujero negro o del hallazgo de las propiedades casi milagrosas del grafeno.
La investigación más importante de los últimos 25 años ha cambiado la forma de procesar la información. Quizá ya adivinan por dónde van los tiros: es uno de los trabajos que ha permitido que la inteligencia artificial se parezca definitivamente a lo que nos contaban las novelas y películas de ciencia ficción.
Son muchos los actores que acaparan los flashes cuando se habla de la IA en los últimos años, desde Sam Altman, de OpenAI, a Demis Hassabis, de DeepMind (es decir, Google). Sin embargo, la gloria de este primer puesto pertenece, quién lo diría, a la empresa que parece haberse quedado atrás en todo esto: Microsoft.
En 2016, cuatro empleados de la rama de investigación y desarrollo de la compañía fundada por Bill Gates publicaron un artículo sobre redes residuales de aprendizaje profundo, lo que se conoce como ResNets.
Ahí ideaban la forma de superar el escollo que impedía a las redes neuronales (un modelo computacional de aprendizaje inspirado en el funcionamiento del cerebro humano) desarrollar todo su potencial de cálculo, multiplicando por cinco su capacidad.
En menos de 10 años, esta investigación se ha convertido en la más citada del siglo XXI, según la revista Nature, que ha elaborado un ránking basado en las cinco bases de datos más importantes que utiliza la ciencia.
El artículo habría sido citado entre 100.000 y 250.000 veces, según las distintas bases de datos. Cada base contabiliza distintas fuentes: una puede incluir solo artículos de revistas científicas que considera importantes, otra puede listar revistas académicas más pequeñas, capítulo de libro o menciones en congresos,etc.
La cantidad de citas refleja la importancia del trabajo, pues quiere decir que un mayor número de investigadores lo utiliza como referencia. Hay, sin embargo, ciertas distorsiones, pues cuanto más lejano en el tiempo haya sido publicado un trabajo, o afecte a más áreas potenciales de investigación, más probabilidad tiene de ser citado.
Con todo, nadie discute la importancia de este artículo, titulado simplemente como 'Deep Residual Learning for Imagen Recognition' ('Aprendizaje Residual Profundo para Reconocimiento de Imágenes'), en el desarrollo posterior de la inteligencia artificial.
Como explica el primer autor del trabajo, Kaiming He (que ahora investiga para el Instituto Tecnológico de Massachusetts), a la propia Nature, sin él, el "aprendizaje profundo [deep learning] no sería tan profundo".
Benjamín Ivorra, profesor del Departamento de Análisis Matemático y Matemática Aplicada de la Universidad Complutense de Madrid, apunta que el trabajo de He y sus compañeros "se cita en casi todas las revisiones de redes profundas".
"Antes de 2016, profundizar en una red neuronal era como extender un cable telefónico casero: llega un punto en que la voz se apaga", explica a EL ESPAÑOL. Este artículo "resolvió el problema con los saltos residuales: diminutos puentes que actúan como repetidores y reinyectan la señal, de modo que la información no se agota, aunque la red tenga centenares de capas".
Las redes residuales o ResNets son "la receta que incorpora esos puentes de fábrica. Este atajo permitió saltar de redes de apenas veinte capas a cientos de ellas. ResNet se volvió el estándar: subtítulos automáticos de vídeo, sistemas de reconocimiento de voz, generadores de imágenes, etc. Enseñó a construir redes mucho más grandes, estables y rápidas de entrenar".
De hecho, el concepto detrás de las ResNets fue uno de los factores que permitirían que la IA desembocara en hitos posteriores como ChatGPT o AlphaFold, el algoritmo que ha podido determinar la estructura de cualquier proteína presente en la naturaleza.
De las redes residuales al 'transformer'
"Fue un avance muy importante en el deep learning", apunta Javier Vázquez Corral, investigador del Computer Vision Center de la Universidad Autónoma de Barcelona.
"En 2014 hay un primer artículo que demostraba que se podía aprender de redes muy profundas, AlexNet. El problema de estas redes era que, si las hacías muy profundas, es decir, si usabas muchos módulos, empezaban a empeorar".
Es lo que se conoce como desaparición de gradiente. El gradiente, resumiendo, es la diferencia entre un elemento y el siguiente, el 'error' que permite aprender al algoritmo. Al superponer una capa tras otra, ese error tendía a perderse.
ResNet propuso "no aprender directamente de la función sino solo de las pequeñas diferencias, lo que permite enviar toda esta información hacia atrás. En las capas intermedias solo se aprende la diferencia, lo que ha permitido procesar cosas mucho más profundas, con mucha mayor potencia".
Al investigador no le extraña que este artículo sea el más citado del siglo XXI, "habría tres o cuatro más que podrían serlo, avances que se han hecho en estos 10 últimos años y han permitido el boom de la inteligencia artificial".
Solo un año después, en 2017, el campo de la inteligencia artificial vivía una nueva revolución. GoogleBrain, el equipo de investigación sobre IA del gigante tecnológico, proponía una nueva arquitectura de redes neuronales conocida como 'transformer', "que permite hacer comparaciones más lejanas que la ResNet", apunta Vázquez Corral.
El 'transformer' supuso la revolución definitiva de la IA y la explosión de aplicaciones que hemos visto en los últimos años. El artículo donde se exponía, liderado por el informático indio Ashish Vaswani, se llama 'Attention is all you need' (todo lo que necesitas es atención), y ocupa el número 7 de los más citados en el siglo XXI, con hasta 150.000 citas.
"Es año y medio más joven que el ResNet y probablemente lo acabe superando", considera el investigador del Computer Vision Center. En el listado de 25 artículos elaborado por Nature incluye otras cuatro investigaciones sobre inteligencia artificial.
Más allá de la inteligencia artificial, no hay tanto glamour en el ranking de la revista. El segundo artículo más citado es una técnica que permite a los investigadores medir la cantidad de ADN que contiene una muestra. El tercero es una sistematización de la búsqueda de patrones en investigación cualitativa (la que no se puede reducir a números).
El cuarto artículo es, en realidad, un libro: el manual de categorización y diagnóstico de los trastornos mentales de la Asociación Americana de Psiquiatría, conocido como DSM, cuya quinta y última actualización hasta el momento apareció en 2013. Y el quinto versa sobre un software para analizar patrones de rayos X para revelar la estructura atómica de las moléculas.
En el listado de Nature también figuran revisiones y meta-análisis, artículos que analizan un conjunto de estudios para llegar a unas conclusiones generales. "Se conoce desde hace tiempo que las revisiones atraen muchas citas", cuenta el experto en bibliometría (la aplicación de las matemáticas para estudiar literatura científica) Isidro F. Aguillo.
"Otra fuente de citas son los métodos o técnicas, que se citan por su utilidad". En el ranking Nature figuran ambas cosas. ¿Qué hay de los grandes avances científicos? "Las investigaciones rupturistas necesitan tiempo para ser aceptadas".
