Procesadores

Intel convierte su biblioteca de aceleración NPU en código abierto

Intel convierte la biblioteca de aceleración NPU en código abierto, dando un gran beneficio para que los desarrolladores puedan optimizar sus aplicaciones de IA para aquellos procesadores que cuenten con esta unidad de procesamiento neuronal.

Intel: La biblioteca de aceleración NPU ahora es de código abierto

La compañía de Pat Gelsinger ha tomado una decisión importante, que es la de hacer su biblioteca de aceleración NPU como código abierto, lo que va a poder facilitar la optimización de las aplicaciones de IA a los desarrolladores.

»La Intel NPU Acceleration Library es una biblioteca de Python diseñada para aumentar la eficiencia de sus aplicaciones aprovechando la potencia de la Unidad de procesamiento neuronal (NPU) de Intel para realizar cálculos de alta velocidad en hardware compatible.

Te recomendamos nuestra guía sobre los mejores procesadores del mercado

En nuestra búsqueda por mejorar significativamente el rendimiento de la biblioteca, estamos dirigiendo nuestros esfuerzos hacia la implementación de una variedad de características clave, que incluyen»:

  • Cuantización de 8 bits
  • Cuantización de 4 bits y GPTQ
  • Inferencia de precisión mixta NPU-Native
  • Compatibilidad con Float16
  • BFloat16 (formato de coma flotante de Brain)
  • Compatibilidad con torch.compile
  • Implementación de la fusión horizontal LLM MLP
  • Inferencia de Static shape
  • Inferencia MHA NPU
  • Computación heterogénea NPU/GPU
  • Paper

La última serie de procesadores para portátiles Intel Core Ultra ‘Meteor Lake’ ya dispone de una unidad NPU que ofrece una aceleración de IA bastante decente, algo que fue demostrado por el arquitecto de software de Intel, Tony Mongkolsmai.

Tony Mongkolsmai ejecutó la biblioteca de aceleración NPU en un portátil MSI Prestige 16 AI Evo. Tony pudo ejecutar los modelos TinyLlama y Gemma-2b-it LLM en el portátil con un buen desempeño, lo que es un gran augurio para los desarrolladores que consigan optimizar sus aplicaciones con procesadores como los Core Ultra de Intel. Os mantendremos al tanto de todas las novedades.

Recent Posts

  • Portátiles y ordenadores

ONEXPLAYER desafía al mercado con la X2 Mini Pro, consola portátil con Ryzen AI Max+ 388

El mercado de las consolas portátiles de gama alta ha sumado un nuevo competidor. La…

4 horas atrás
  • Memorias

ADATA asegura que no hay tal «burbuja de la IA» y que la DRAM escaseara en los próximos 10 años

Chen Li-bai, el presidente de ADATA, uno de los principales fabricantes de memoria a nivel…

5 horas atrás
  • Inteligencia artificial

Synthetic Video Detector de Nvidia puede detectar videos generados por IA

Aunque la inteligencia artificial ofrece grandes ventajas creativas, también plantea un riesgo, que son la…

7 horas atrás