Procesadores

Intel convierte su biblioteca de aceleración NPU en código abierto

Intel convierte la biblioteca de aceleración NPU en código abierto, dando un gran beneficio para que los desarrolladores puedan optimizar sus aplicaciones de IA para aquellos procesadores que cuenten con esta unidad de procesamiento neuronal.

Intel: La biblioteca de aceleración NPU ahora es de código abierto

La compañía de Pat Gelsinger ha tomado una decisión importante, que es la de hacer su biblioteca de aceleración NPU como código abierto, lo que va a poder facilitar la optimización de las aplicaciones de IA a los desarrolladores.

»La Intel NPU Acceleration Library es una biblioteca de Python diseñada para aumentar la eficiencia de sus aplicaciones aprovechando la potencia de la Unidad de procesamiento neuronal (NPU) de Intel para realizar cálculos de alta velocidad en hardware compatible.

Te recomendamos nuestra guía sobre los mejores procesadores del mercado

En nuestra búsqueda por mejorar significativamente el rendimiento de la biblioteca, estamos dirigiendo nuestros esfuerzos hacia la implementación de una variedad de características clave, que incluyen»:

  • Cuantización de 8 bits
  • Cuantización de 4 bits y GPTQ
  • Inferencia de precisión mixta NPU-Native
  • Compatibilidad con Float16
  • BFloat16 (formato de coma flotante de Brain)
  • Compatibilidad con torch.compile
  • Implementación de la fusión horizontal LLM MLP
  • Inferencia de Static shape
  • Inferencia MHA NPU
  • Computación heterogénea NPU/GPU
  • Paper

La última serie de procesadores para portátiles Intel Core Ultra ‘Meteor Lake’ ya dispone de una unidad NPU que ofrece una aceleración de IA bastante decente, algo que fue demostrado por el arquitecto de software de Intel, Tony Mongkolsmai.

Tony Mongkolsmai ejecutó la biblioteca de aceleración NPU en un portátil MSI Prestige 16 AI Evo. Tony pudo ejecutar los modelos TinyLlama y Gemma-2b-it LLM en el portátil con un buen desempeño, lo que es un gran augurio para los desarrolladores que consigan optimizar sus aplicaciones con procesadores como los Core Ultra de Intel. Os mantendremos al tanto de todas las novedades.

Recent Posts

  • Tarjetas gráficas

GTX 750 Ti resucita con 8 GB de VRAM y sorprende con juegos actuales

¿Te acuerdas de la legendaria GeForce GTX 750 Ti? Lanzada originalmente en 2014 con apenas…

1 hora atrás
  • Memorias

RAM DDR5 alcanza precios insólitos, el Patriot Viper Xtreme 5 de 32 GB llega a los 1500 dolares

El mercado de memoria RAM DDR5 se ha vuelto una locura absoluta. Si estás pensando…

3 horas atrás
  • Tarjetas gráficas

Nvidia RTX 5070 Ti reduce su consumo a la mitad tras un undervolt extremo a 0.67V

El arte de ajustar voltajes en tarjetas gráficas tiene un nuevo logro difícil de creer.…

5 horas atrás