OpenDLSS-NR recrea la IA de DLSS 5 en código abierto

NVIDIA DLSS 5 ahora también puede funcionar en gráficas RTX 40 y navegadores Web, gracias a una reimplementación de Vulkan de código abierto. Esto abre la posibilidad de usarlo en gráficas no soportada por el momento, y más allá de los juegos ya sea de forma oficial o a través de los diferentes mods que se han creado para inyectarlo de forma no oficial.

La tecnología ha formado tal revuelo que los desarrolladores se han interesado por cómo funciona y sus características, llevándolo más allá de los límites impuestos por NVIDIA. DLSS 5 es una tecnología propietaria del gigante de los videojuegos y la IA, pero su filtración antes de su presentación está dando mucho juego a la comunidad de desarrolladores.

El desarrollador que se hace llamar MAAN ha lanzado la utilidad OpenDLSS-NR, que es una reimplementación de la red de renderizado neuronal que usa DLSS 5 en Vulkan, y como no, open source.

Este desarrollador ha sido capaz de recrear la red neuronal utilizada por NVIDIA en la versión 310.8.0 del entorno, con 71 bloques, y consiguiendo unos resultados muy similares a la implementación propietaria de NVIDIA, al menos estas son las palabras del desarrollador. Incluso es capaz de generar una salida intermedia en lugar de una imagen completa final.

Arquitectura y funcionamiento: renderizado neuronal mediante U-Net, ViT y Tensor Cores

OpenDLSS-NR realiza el mismo trabajo que DLSS 5, operando sobre un fotograma ya renderizado, y mejorando su aspecto corrigiendo factores como la iluminación, rasgos faciales, materiales en escena, etc. El desarrollador ha conseguido reproducir estos efectos utilizando una arquitectura U-Net combinando transformadores ViT, con precisión FP8 para las activaciones y realizando la acumulación de los resultados con FP16.

Para esto también se ha aprovechado la tecnología hardware de NVIDIA, utilizando los Tensor Cores junto con los sombreadores GLSL (OpenGL Shading Language).

Primeros resultados

Los primeros resultados compartidos por el propio desarrollador están tomados utilizando una NVIDIA RTX 4070 SUPER. Los tiempos alcanzados son:

• Con una resolución de 768 x 768 el tiempo empleado ha sido de 2,8 ms.
• Con una resolución de 1920 x 1080 el tiempo empleado ha sido de 7,8 ms.
• Con una resolución de 2560 x 1440 el tiempo empleado ha sido de 12,6 ms.
• Con una resolución de 3840 x 2160 el tiempo empleado ha sido de 29,3 ms.

Cifras que representan los tiempos mínimos que se han registrado en 40 fotogramas.

Salto a los navegadores: soporte WebGPU fuera del ecosistema NVIDIA

Como elemento interesante, OpenDLSS-NR también incluye una implementación WebGPU que permite reproducir esta tecnología sin utilizar los núcleos Tensor de NVIDIA. Una implementación que puede llevarse a otras arquitecturas y hardware de otras marcas, con la consecuente pérdida de rendimiento. En comparación, una imagen de 512 x 512 píxeles ha tardado 72 ms con WebGPU.

Por el momento esta implementación no está lista para su uso, aunque cuenta con un modo demostración usando el motor Filament de Google, sin Super Resolution. Si quieres probarlo está disponible en GitHub con licencia MIT.