NVIDIA hace open source Audio2Face para desarrolladores para más realismo

NVIDIA hace open source Audio2Face, la herramienta IA para animaciones y voz en tiempo real.

Ya en su presentación de Audio2Face nos gustó mucho y nos parecía el futuro. Esta herramienta IA recoge la voz, tiene en cuenta la tonalidad/emoción y hace que el personaje dentro del juego gesticule como lo haría un humano. ¿Habrá tenido mala recepción y NVIDIA quiere aumentar su fuerte?

NVIDIA lanza Audio2Face en open source para más realismo

Es raro ver a NVIDIA lanzar herramientas IA en open source, aunque Audio2Face es la excepción. Para los despistados, Audio2Face es una herramienta IA que se usa para producir animación facial y sincronización labial en tiempo real a través del sonido de entrada de un micrófono.

Esta IA analiza el fonema, entonación y el tono para que el avatar se anime de una u otra manera, consiguiendo un mayor realismo en multijugador.

Este modelo se puede usar en Unreal Engine 5 y Autodesk Maya, aunque también se ha lanzado su SDK. Cualquier desarrollador podrá perfeccionar el modelo o adaptarlos a sus juegos, lo que es un puntazo. NVIDIA ofrece distintos modelos, como las redes Audio2Emotion.

Por el momento, hemos visto solo una aplicación: Chernobylite 2: Exclusion Zone. No se habla de más juegos, a pesar de que hay muchos socios metidos en el proyecto de Audio2Face, como es el caso de Streamlabs, GSC Game World o Codemasters, entre otros.

Para vuestra información, NVIDIA Audio2Face es parte de un kit de herramientas IA, que también incluye su SDK. Recordad NVIDIA ACE, NVIDIA Edify, o el resto de RTX NIMs.

Estoy muy de acuerdo con lo que está diciendo la comunidad sobre esta noticia porque una gran noticia para estudios Indie que tienen poco presupuesto para desarrollar títulos. Por tanto, NVIDIA ha hecho un movimiento bastante bueno, en mi opinión, con Audio2Face.

Te recomendamos las mejores tarjetas gráficas