Un desarrollador ha logrado multiplicar por 4.6 la velocidad de generación de texto en una tarjeta gráfica Nvidia GeForce RTX 3090, ejecutando el modelo de lenguaje Qwen3.8-27B.
RTX 3090: logran multiplicar por 4,6x su rendimiento en IA
Con este ajuste, el rendimiento pasó de unos modestos 82 tokens por segundo a una marca de 382 tok/s. Lo destacable de este logro es que se alcanzó exclusivamente mediante optimizaciones en el motor de inferencia, sin modificar nada más de la GPU.
El principal cuello de botella en la generación de texto con inteligencia artificial no está en la potencia de cálculo, sino en la velocidad de la memoria. Para cada nuevo token, la GPU debe extraer los pesos del modelo alojados en la VRAM, lo que provoca que el procesador pase gran parte del tiempo inactivo esperando datos. Para resolver esta limitación, el usuario aplicó un conjunto de técnicas, destacando entre ellos el decodificado especulativo (speculative decoding).
Qwen3.8-27B reportedly went from 82 to 381 tokens/sec on a single RTX 3090 with 24GB VRAM.
That’s a 4.6× increase without upgrading the GPU or changing the model.
The improvement came from optimizing the inference stack.
Here’s how the reported speeds progressed:
Baseline: 82…
— FHILY👑 (@Oluwaphilemon1) October 18, 2026
Te recomendamos nuestra guía sobre las mejores tarjetas gráficas del mercado
Esta estrategia emplea algoritmos para proponer o adivinar varios tokens consecutivos a la vez. Posteriormente, el modelo principal valida todo el bloque en una sola pasada. Dado que el modelo mayor mantiene la decisión final, la precisión técnica de la respuesta no se degrada. A esta estructura se sumó un sistema de búsqueda (lookup drafter) que escanea el texto previo en la conversación para reutilizar secuencias repetidas, lo que resultó especialmente eficaz en tareas de lectura y cita de documentos extensos.
Las optimizaciones permitieron ampliar la ventana de contexto hasta casi 139.000 tokens mediante un formato de memoria de trabajo más compacto. Sin embargo, el método conlleva ciertas limitaciones, como la lectura inicial de documentos requiere el doble de tiempo y la verificación extendida consume más memoria de contexto. Aun así, para interacciones cotidianas de chat, el sistema mantiene una velocidad de 133 tok/s, ofreciendo un avance notable que amplía la vida útil de una GPU como la RTX 3090, que no fue especialmente para la IA. Os mantendremos informados.
