AMD Gaia: un proyecto de código abierto que ejecuta LLM de forma local

AMD lanza el proyecto de código abierto Gaia para poder ejecutar modelos de lenguaje grandes (LLM) en cualquier PC de forma local.

AMD Gaia: proyecto de código abierto para ejecutar LLM localmente

La ejecución local de modelos de lenguaje grandes (LLM) en PC es cada vez más popular a nivel mundial y más practicó al no requerir de una conexión a Internet rápida. En el caso de AMD Gaia, se trata de un proyecto de código abierto da facilidades para hacer esto posible, además de que incluyen optimizaciones de rendimiento adicionales para procesadores Ryzen AI de AMD, que han llegado al segmento de portátiles.

El SDK está utilizando el código abierto Lemonade de ONNX TurnkeyML para la inferencia de LLM. En Gaia, pueden usarse los modelos para distintas tareas, como tareas de resumen y razonamiento complejo.

Te recomendamos nuestra guía sobre el armado de un PC entusiasta

Gaia también funciona con un agente de Retrieval-Augmented Generation (RAG), que permite proporcionar una experiencia de IA interactiva para el usuario final, con respuestas más precisas y contextualizadas.

Los cuatro agentes disponibles serían:

  • Prompt Completion, diseñado para interacciones directas con modelos para pruebas y evaluación.
  • Chaty, que es un chatbot similar a ChatGPT.
  • Clip, un agente con funciones de búsqueda en YouTube y preguntas y respuestas.
  • Joker, un generador de chistes.

Se comenta que Gaia puede optimizar las consultas del usuario antes de que él LLM las procese, esto mejora la precisión en las respuestas y en una mejor interpretación de lo que se está diciendo.

Pueden ver más información en la página de desarrolladores de AMD.

Recent Posts

  • Memorias

CXMT habría hecho espionaje industrial a Samsung para acelerar su desarrollo de memorias

Un tribunal de Corea del Sur reveló detalles de una supuesta operación de espionaje industrial…

3 horas atrás
  • Procesadores

Nvidia da por perdido el mercado de IA en China, luego de que DeepSeek apuesta por las aceleradoras de Huawei

La balanza en la guerra por la inteligencia artificial se está inclinando en Asia por…

5 horas atrás
  • Procesadores

Onimusha: Way of the Sword: 31 CPUs puestos a prueba, los Ryzen X3D lideran

Los nuevos benchmarks publicados por Tom’s Hardware sobre Onimusha: Way of the Sword dejan conclusiones…

6 horas atrás