AMD ha cerrado la compra de Taalas, la empresa canadiense especializada en chips para la inferencia de IA, es decir, para ejecutar modelos ya entrenados y generar sus respuestas. La operación se anunció el pasado 7 de agosto y estaba pendiente de las aprobaciones regulatorias habituales. Por cierto, AMD no ha desvelado el importe.
Según Vamsi Boppana, vicepresidente senior del grupo de IA de AMD, la inferencia está evolucionando con rapidez. Él sostiene que los clientes necesitan soluciones de computación adaptadas a cada tipo de carga. Con Taalas dentro de la compañía, AMD quiere ampliar su oferta en este terreno y reforzar su plataforma de IA.
Taalas se fundó en Toronto en 2023 y su tecnología integra los pesos del modelo directamente en los chips. Los pesos son los parámetros que el modelo obtiene durante su entrenamiento y, al grabarlos en el propio chip, se evita tener que buscarlos en una memoria externa.
Con ello, la empresa pretende reducir los cuellos de botella de ancho de banda en la decodificación, que es la fase en la que el modelo genera la respuesta token a token, y gastar menos energía por cada token. Su chip actual, el HC1, usa una cuantificación de unos 3 bits, lo que reduce la precisión de los datos a cambio de ocupar menos. La siguiente generación pasaría al formato MXFP4.
AMD integrará esta tecnología en su hoja de ruta de aceleradores y desarrollará soluciones completas junto a sus GPU Instinct. Según lo explicado en el anuncio de agosto, los racks Helios y las GPU Instinct se encargarían del prefill, la fase en la que el modelo procesa la petición, mientras que el silicio de Taalas se ocuparía de la decodificación. El conjunto se completaría con los procesadores EPYC y el software ROCm.
Te interesa 👉 Los mejores procesadores que puedes comprar
Con la compra, el cofundador y consejero delegado de Taalas, Ljubisa Bajic, y su equipo directivo pasan a formar parte de AMD, que además amplía su plantilla de ingenieros en Canadá.
Meta ha empezado a probar Direct. Se trata de una aplicación independiente que se lleva…
Pocos ejemplos más claros de mala competencia puede haber con lo que ha ocurrido en…
El iPhone Duo ya se puede desbloquear con la cara. La segunda beta para desarrolladores…