Datorită AMD, a apărut încă un software care ajută să rulați LLM (Large Language Model) local, optimizând funcționarea și precizia acestuia. Aplicația, denumită GAIA, este concepută special pentru sisteme bazate pe Windows și poate lucra cu mai multe acceleratoare AI, chiar plăci video integrate. Noul software este compatibil cu mai multe LLM-uri, inclusiv variante Llama și Phi.
Deoarece este un software AMD, acesta oferă optimizare suplimentară pentru procesoarele cu suport RYZEN AI, și o componenta NPU dedicată. GAIA în sine este construit în jurul Lemonade SDK, care provine din casa OMNX TurnkeyML, și care ajută la implementarea inducției/deducției LLM. Noul software este construit în jurul RAG (Retrieval-Augmented Generation), care combină LLM cu o bază de cunoștințe pentru a face LLM mai eficient, mai precis și mai adecvat contextului în interacțiunea sa cu utilizatorul, prin urmare mai util.
În esență, RAG combină patru tipuri de agenți GAIA, dintre care Simple Prompt Completion permite interacțiuni directe cu modelele în scopuri de testare și verificare, iar Chaty acționează ca un chatbot pentru conversații. Clip vă permite să căutați pe YouTube, și să vă răspundă la întrebări. A patra versiune este Joker, care este de fapt un generator de glume.
Proiectul open-source GAIA al AMD funcționează prin furnizarea de medii de execuție diferite pentru sarcini specifice LLM prin intermediul SDK Lemonade. În esență, acest lucru face ca un serviciu web LLM să fie disponibil prin intermediul aplicației GAIA prin utilizarea API Rest compatibil cu OpenAI. Software-ul în sine acționează ca un agent bazat pe inteligență artificială care primește și procesează date, vectorizând în același timp conținutul extern, care este stocat într-un index vectorial local. Acest conținut poate proveni de pe YouTube, din fișiere text sau chiar de pe GitHub. În esență, GAIA poate analiza interogările utilizatorilor înainte ca LLM-ul să le primească, astfel încât utilizatorii pot obține rezultate mai bune atât în ceea ce privește relevanța, cât și precizia.
Software-ul open-source este disponibil în două kituri de instalare diferite. Versiunea de bază este concepută pentru sistemele bazate pe Windows și nu necesită neapărat hardware AMD, dar este oferit și un kit "hibrid" pentru configurațiile cu hardware AMD, pentru a ajuta la exploatarea potențialului funcției RYZEN AI. Acesta din urmă poate fi utilizat pentru a face NPU-ul bazat pe XDNA, sau controlerul grafic integrat să ajute la calcule.
Odată cu apariția GAIA, rularea locală a modelelor lingvistice mari devine mai ușoară, ceea ce prezintă mai multe avantaje. Pe de o parte, nu este nevoie să se utilizeze servicii bazate pe cloud, sporind securitatea, iar pe de altă parte, rularea locală reduce latența și poate chiar îmbunătăți performanța, în funcție de hardware-ul pe care îl poate utiliza configurația. În plus, LLM-urile locale sunt perfect funcționale fără o conexiune la internet.
