Intel convierte la biblioteca de aceleración NPU en código abierto, dando un gran beneficio para que los desarrolladores puedan optimizar sus aplicaciones de IA para aquellos procesadores que cuenten con esta unidad de procesamiento neuronal.
Intel: La biblioteca de aceleración NPU ahora es de código abierto
La compañía de Pat Gelsinger ha tomado una decisión importante, que es la de hacer su biblioteca de aceleración NPU como código abierto, lo que va a poder facilitar la optimización de las aplicaciones de IA a los desarrolladores.
»La Intel NPU Acceleration Library es una biblioteca de Python diseñada para aumentar la eficiencia de sus aplicaciones aprovechando la potencia de la Unidad de procesamiento neuronal (NPU) de Intel para realizar cálculos de alta velocidad en hardware compatible.
Te recomendamos nuestra guía sobre los mejores procesadores del mercado
En nuestra búsqueda por mejorar significativamente el rendimiento de la biblioteca, estamos dirigiendo nuestros esfuerzos hacia la implementación de una variedad de características clave, que incluyen»:
- Cuantización de 8 bits
- Cuantización de 4 bits y GPTQ
- Inferencia de precisión mixta NPU-Native
- Compatibilidad con Float16
- BFloat16 (formato de coma flotante de Brain)
- Compatibilidad con torch.compile
- Implementación de la fusión horizontal LLM MLP
- Inferencia de Static shape
- Inferencia MHA NPU
- Computación heterogénea NPU/GPU
- Paper
La última serie de procesadores para portátiles Intel Core Ultra ‘Meteor Lake’ ya dispone de una unidad NPU que ofrece una aceleración de IA bastante decente, algo que fue demostrado por el arquitecto de software de Intel, Tony Mongkolsmai.
For devs that have been asking, check out the newly open sourced Intel NPU Acceleration library. I just tried it out on my MSI Prestige 16 AI Evo machine (windows this time, but the library supports Linux as well) and following the GitHub documentation was able to run TinyLlama… pic.twitter.com/UPMujuKGGT
— Tony Mongkolsmai (@tonymongkolsmai) March 1, 2024
Tony Mongkolsmai ejecutó la biblioteca de aceleración NPU en un portátil MSI Prestige 16 AI Evo. Tony pudo ejecutar los modelos TinyLlama y Gemma-2b-it LLM en el portátil con un buen desempeño, lo que es un gran augurio para los desarrolladores que consigan optimizar sus aplicaciones con procesadores como los Core Ultra de Intel. Os mantendremos al tanto de todas las novedades.
