Elon Musk a vorbit în urmă cu câteva zile despre deschiderea sursei Grok promisiune care a fost ținut de curând. Planul este de a putea concura cu Meta, Google, și bineînțeles, OpenAI, pe care Elon Musk încearcă să o dea în judecată, deoarece consideră că această companie nu se mai ridică la înălțimea valorilor sale inițiale.
Grok este un chatbot bazat pe inteligență artificială generativă care se îndepărtează de soluțiile standard. Nu este încă disponibil pentru publicul larg, doar pentru un public restrâns. Acum, xAI a anunțat că va continua să se dezvolte cu sursă deschisă. Un model numit Grok-1 este disponibil pe GitHub, astfel încât atât cercetătorii, cât și dezvoltatorii pot începe să îl studieze. Viitoarele actualizări ale sistemului LLM vor fi influențate de feedback-ul din surse externe.
Grok-1 este un model de arhitectură Mixture-of-Experts (MoE), ceea ce va fi și Gemini 1.5. Acest lucru va permite aplicarea unui număr mult mai mare de parametri la instrumentele de inteligență artificială generativă. Se poate obține o eficiență substanțial îmbunătățită, deoarece numărul crescut de parametri nu necesită o capacitate de calcul drastic mai mare. Acest lucru permite menținerea unor costuri mai mici. Potrivit xAI, Grok-1 este un model cu 314 miliarde de parametri.
În principiu, a fost publicat un model de bază complet brut, care provine din faza de pregătire preliminară a lui Grok-1, încă din Octombrie 2023. Acest model în această formă nu este încă pus la punct pentru conversație. Dar, în principiu, nu a primit alte optimizări. De asemenea, nu este posibil să se știe pe ce date își antrenează xAI sistemul LLM, deoarece nu oferă date în acest sens.
În ceea ce privește instruirea, xAI a declarat doar că în instruirea sa a fost utilizată o cantitate mare de informații textuale. În diferitele modele generative de inteligență artificială, instruirea este întotdeauna un punct sensibil. Companiile au tendința de a nu publica date în acest sens și există foarte des suspiciunea că folosesc defapt informații furate (acest lucru este ocazional dovedit).
Per total, nu suntem mai aproape de ceea ce va putea face Grok, dar nu aceasta a fost intenția companiei. Potrivit rapoartelor anterioare, chatbotul Grok, care folosește modelul Grok-1, s-ar putea dovedi în viitor nu numai un partener de conversație interesant, ci ar putea fi folosit și pentru muncă. Ee exemplu, ar trebui să se descurce bine în ceea ce privește codarea, oferind un nivel de performanță similar cu GPT-4 în testele anterioare.
De altfel, mișcarea actuală nu a fost făcută de xAI pentru că a fost atât de dornică să se deschidă, ci a fost decizia lui Elon Musk. Musk a vorbit despre faptul că OpenAI are o problemă serioasă cu faptul că nu este deschisă, în timp ce modelul Grok-1 nu a fost văzut de publicul larg. Acest lucru ar fi putut crea o situație stânjenitoare pentru Musk. Așa că s-a orientat în schimb spre opensource, pentru a evita această problemă. Există deja multe modele care sunt deschise într-o oarecare măsură, și Meta a pus la dispoziție o parte din dezvoltările sale.
