El desarrollador Oscar Molnar logra duplicar la memoria gráfica de su PC añadiendo una GPU de servidor Tesla V100 de 16 GB de Nvidia, que se suma a su RTX 4080 (16 GB). Con esta combinación, alcanzó un total de 32 GB de VRAM dedicados a la inferencia local de grandes modelos de lenguaje (LLM), todo por unos 266 dólares.
Nvidia Tesla V100 en un PC por sólo 266 dólares
El proceso para instalar esta gráfica de servidor requirió maña y adaptaciones. Al tratarse de una tarjeta para centros de datos en formato SXM2, Molnar tuvo que adquirir un adaptador de SXM2 a PCIe por unos 66 dólares en eBay, sumados a los aproximadamente 140 que costó la GPU. El verdadero desafío surgió al encender el equipo. El sistema de refrigeración de fábrica emitía un ruido ensordecedor de 82 decibelios, un nivel acústico que el usuario comparó con el de un cortacésped o un triturador de basura.
Para resolver este ruido, Molnar modificó las conexiones mediante un cable puente PWM conectándolo directamente al conector de la placa base. Sorprendentemente, descubrió que haciendo funcionar el ventilador a tan solo el 10 % de su capacidad, la GPU se mantenía por debajo de los 50 °C a máxima carga, resolviendo por completo el problema acústico.
Te recomendamos nuestra guía sobre las mejores tarjetas gráficas del mercado
En el apartado de software, configuró su sistema bajo la distribución NixOS utilizando un controlador de Nvidia compatible con las arquitecturas Volta (Tesla V100) y Ada Lovelace (RTX 4080) de forma simultánea.
El resultado de este experimento es contundente. El rig es capaz de ejecutar un modelo de lenguaje de 27.000 millones de parámetros a una velocidad de 32 tokens por segundo. Esta cifra supera la latencia de muchas API comerciales en la nube y ofrece una experiencia muy fluida, privada e interactiva a una fracción del coste habitual. Os mantendremos informados.
