Groq gana terreno en inferencia al prometer menos coste por token y más velocidad que NVIDIA Blackwell

La carrera por la infraestructura de inteligencia artificial está empezando a cambiar de métrica. Ya no se trata solo de cuánto cuesta una GPU por hora, sino de cuánto cuesta generar resultados útiles a escala. En ese cambio de enfoque, Groq está ganando visibilidad como una de las alternativas más serias a NVIDIA en inferencia, al menos según un experto de Nebius citado por AlphaSense y recogido por wccftech.

La comparación parte de una idea cada vez más repetida en el sector. En la empresa, entre el 90 % y el 95 % de la demanda ya no estaría en entrenamiento, sino en inferencia. Es decir, en servir modelos ya entrenados a clientes, empleados o productos reales. Y ahí el indicador empieza a ser el coste por millón de tokens, no tanto la potencia bruta del hardware ni el precio horario de una GPU concreta.

Chips de Groq con inferencia más barata y más rápida, pero para un trabajo distinto

Según esa lectura, los chips de Groq estarían moviéndose entre cinco y diez céntimos por millón de tokens, frente a unos 25 céntimos en sistemas basados en Blackwell. Además, el experto sostiene que Groq puede alcanzar hasta 800 tokens por segundo, frente a unos 450 tokens por segundo en la plataforma de NVIDIA. Si se toma esa comparación al pie de la letra, la ventaja sería clara en coste y también en velocidad de respuesta.

Eso no significa que Groq haya destronado a NVIDIA en todos los frentes. Blackwell sigue ocupando una posición privilegiada en entrenamiento pesado y grandes despliegues empresariales. Además, NVIDIA conserva una ventaja enorme en ecosistema, software y cuota de mercado. Pero el crecimiento de este tipo de alternativas sí confirma que la industria está empezando a aceptar que no todo requiere la misma clase de acelerador. Para ciertas cargas, sobre todo de inferencia a gran escala, importa más el rendimiento económico real que la ficha técnica tradicional.

La lectura es coherente con el mensaje que la propia NVIDIA lleva semanas impulsando al hablar de coste por token como métrica clave. El problema para la compañía es que, si el debate se desplaza definitivamente a ese terreno, también abre espacio para que otros competidores presuman de eficiencia específica en inferencia.

Te interesa 👉 Los mejores portátiles para IA

Por ahora no estamos ante una sustitución masiva del dominio de NVIDIA, pero sí ante una nueva fase del mercado. Parece que a partir de ahora no siempre ganará quien tenga el chip más potente, sino quien consiga entregar más tokens por menos dinero.