Soluciones de inferencia de datos de Qualcomm.

Soluciones de inferencia de datos de Qualcomm. Qualcomm Omicrono

Hardware

Qualcomm va a por Nvidia y AMD: lanza sus nuevos chips diseñados para acelerar las cargas de trabajo de la IA

Estos dispositivos, disponibles en formato de tarjetas o racks, permiten aplicar aceleraciones en los procesos de inferencia de la inteligencia artificial generativa.

Más información: Nvidia comienza a vender su superordenador con IA de uso personal: un potente centro de datos en tu escritorio

Publicada

La inteligencia artificial ha desatado una auténtica batalla por el liderazgo de una tecnología que promete ser revolucionaria. Con proyectos como Stargate de OpenAI y laboratorios de superinteligencia artificial de Meta, la carrera está servida.

Y en esa carrera, quiere estar presente Qualcomm. Acaban de presentar nuevos aceleradores para procesos de inferencia de IA: los Qualcomm AI200 y Qualcomm AI250, soluciones disponibles en varios formatos especializados para centros de datos.

Los AI200 y AI250 de Qualcomm estarán disponibles o bien en formatos de tarjetas aceleradoras o bien como dispositivos tipo rack para conformar conjuntos de servidores de Qualcomm. Además, en sus soluciones de rack, estos dispositivos estarán equipados con todo tipo de bondades.

Las soluciones para inferencia de IA de Qualcomm

El objetivo de Qualcomm con estos dispositivos es el de ofrecer soluciones con una capacidad de memoria mayor, específicamente pensadas para acelerar los procesos de inferencia en modelos de inteligencia artificial grandes.

El AI200 es el hermano menor de los dos, y se presenta como un sistema a nivel de rack que ofrece un rendimiento optimizado para estos procesos, tanto para modelos de lenguaje LLM como para modelos multimodales LMM provistos de grandes números de parámetros.

Qualcomm AI200.

Qualcomm AI200. Qualcomm Omicrono

Según relata Qualcomm, el AI200 puede soportar hasta 768 GB de memoria LPDDR por tarjeta, lo que supone una mayor capacidad de memoria a un coste menor, garantizando una escalabilidad y una flexibilidad mejorados para con la inferencia.

Por otro lado está el Qualcomm AI250, que en palabras de la firma, "debutará con una innovadora arquitectura de memoria basada en computación cercana a la memoria". Prometerá ofrecer un ancho de banda efectivo más de 10 veces superior, a un coste energético reducido.

Los dos dispositivos de Qualcomm en sus variantes de rack disponen de ventajas no poco desdeñables, como sistemas de refrigeración líquida directa, compatibilidad con PCIe para un escalamiento vertical y conectividad Ethernet.

Qualcomm también habla de un sistema de computación confidencial para cargas de trabajo seguras, unido a un consumo de energía a nivel de rack de 160 kW. Por otro lado, los Qualcomm AI200 y 250 integran la pila de software de IA de nivel hiperescalador de Qualcomm.

Qualcomm AI200.

Qualcomm AI200. Qualcomm Omicrono

Dicha pila, afirma la empresa norteamericana, "es compatible con los principales frameworks de aprendizaje automático, los motores de inferencia, los frameworks de IA generativa y las técnicas de optimización de inferencia LLM/LMM".

Por si fuera poco, la pila presenta una integración total de modelos así como de la implementación de modelos Hugging Face usando la biblioteca Efficient Transformes de Qualcomm. Todo ello, de nuevo, para acelerar procesos de inferencia en centros de datos.

La inferencia es uno de los procesos más importantes en la gestión de grandes modelos de IA de lenguaje y multimodales. Consiste en la capacidad de estos modelos ya entrenados con conjuntos de datos para reconocer patrones y sacar conclusiones usando información que nunca han visto.

De hecho, la inferencia es la tecnología vital que sustenta las apps de IA generativa más importantes. Estos procedimientos de inferencia tienen su inicio a la hora de entrenar a un modelo de IA usando grandes conjuntos de datos con algoritmos de toma de decisiones, según relata IBM.

La idea de la inferencia, pues, es la de aplicar lo que el modelo de IA ha aprendido usando machine learning con el objetivo de que el modelo tome decisiones, realice predicciones o extraiga sus propias conclusiones a partir de los datos. Qualcomm espera lanzar sus AI200 y AI250 en 2026 y 2027, respectivamente.