AMD Gaia: un proyecto de código abierto que ejecuta LLM de forma local

AMD lanza el proyecto de código abierto Gaia para poder ejecutar modelos de lenguaje grandes (LLM) en cualquier PC de forma local.

AMD Gaia: proyecto de código abierto para ejecutar LLM localmente

La ejecución local de modelos de lenguaje grandes (LLM) en PC es cada vez más popular a nivel mundial y más practicó al no requerir de una conexión a Internet rápida. En el caso de AMD Gaia, se trata de un proyecto de código abierto da facilidades para hacer esto posible, además de que incluyen optimizaciones de rendimiento adicionales para procesadores Ryzen AI de AMD, que han llegado al segmento de portátiles.

El SDK está utilizando el código abierto Lemonade de ONNX TurnkeyML para la inferencia de LLM. En Gaia, pueden usarse los modelos para distintas tareas, como tareas de resumen y razonamiento complejo.

Te recomendamos nuestra guía sobre el armado de un PC entusiasta

Gaia también funciona con un agente de Retrieval-Augmented Generation (RAG), que permite proporcionar una experiencia de IA interactiva para el usuario final, con respuestas más precisas y contextualizadas.

Los cuatro agentes disponibles serían:

• Prompt Completion, diseñado para interacciones directas con modelos para pruebas y evaluación.
• Chaty, que es un chatbot similar a ChatGPT.
• Clip, un agente con funciones de búsqueda en YouTube y preguntas y respuestas.
• Joker, un generador de chistes.

Se comenta que Gaia puede optimizar las consultas del usuario antes de que él LLM las procese, esto mejora la precisión en las respuestas y en una mejor interpretación de lo que se está diciendo.

Pueden ver más información en la página de desarrolladores de AMD.