TurboQuant: Google promete que reducirá el uso de RAM en hasta seis veces

La industria tecnológica enfrenta una crisis de suministros conocida como el «RAMpocalypse», donde la insaciable demanda de memoria DRAM por parte de la IA ha disparado los precios y reducido la disponibilidad para los consumidores en general. Sin embargo, Google ha presentado una tecnología que podría cambiar cambiarlo todo, el TurboQuant.

¿Qué es TurboQuant? Promete reducir el uso de RAM en la IA

TurboQuant es una técnica de compresión de vectores diseñada para reducir la huella de memoria de los modelos de IA sin sacrificar su precisión. Según Google, esta tecnología permite reducir el uso de memoria hasta 6 veces, mientras que el rendimiento de inferencia puede aumentar hasta 8 veces.

Para lograrlo, se combina dos componentes matemáticos:

• PolarQuant: Simplifica las coordenadas de los datos para disminuir la sobrecarga de memoria.
• Quantized Johnson-Lindenstrauss (QJL): Actúa como un verificador de errores de 1 bit que garantiza una alta fidelidad en los resultados.

Impacto en el mercado y la industria

La noticia ya ha provocado caídas en las acciones de los principales fabricantes de memoria, ante la perspectiva de que las empresas de IA necesiten comprar menos hardware para obtener los mismos resultados. Si los centros de datos se vuelven más eficientes, habrá una mayor oferta de DRAM disponible para otros sectores, como el gaming y los ordenadores personales en general.

Aunque TurboQuant permite hacer más con menos, gigantes tecnológicos podrían aprovechar este ahorro para construir modelos aún más grandes aprovechando la compresión.

En conclusión, TurboQuant representa un rayo de esperanza para la crisis de la RAM, aunque, de momento, no sabemos cuando es que se comenzará a implementar esta tecnología. Os mantendremos informados.