Meta a introdus modelul de limbaj mare Llama la începutul anului 2023, iar acum a lansat generația 3, ceea ce reprezintă un pas uriaș înainte. Llama 3 este mai precis și mai eficient, în timp ce compania continuă să vorbească despre faptul că este un model deschis.
În ultima vreme, toate marile companii de tehnologie au venit cu sisteme LLM care sunt "în mai multe variante". Llama 3 nu face excepție, având în vedere că Llama 2 a venit deja în mai multe versiuni. Noul venit a fost implementat în versiuni cu 8 și 70 de miliarde de parametri. Predecesorul Llama 2 a fost disponibil în versiuni cu 7 și 70 de miliarde de parametri, dar noul model va funcționa mult mai bine în aceeași dimensiune.
Meta lucrează la crearea unei opțiuni a modelului Llama 3 semnificativ mai bună, iar aceasta ar putea ajunge la 400 de miliarde de parametri. Aceasta se află în prezent în faza de instruire.
Meta a dezvăluit câteva date interesante despre Llama 3. De exemplu, am aflat că în timpul antrenamentului au fost folosite 15 trilioane de token-uri de informații, în timp ce pentru Llama 2 era vorba de "doar" 3 trilioane. Meta a creat propriul mediu de antrenament pentru aceasta, folosind 24.000 de GPU-uri individuale în două clustere. În timp ce Llama 3 va fi pus la dispoziția publicului de către Meta printr-o serie de medii cloud.
Noul model a fost conceput special pentru a reduce numărul de cazuri în care întrebarea a fost refuzată. Llama 2 avea tendința de a respinge cereri și întrebări care păreau complet nejustificate, iar prima versiune era chiar mai rea din acest punct de vedere. Modelul Llama nu a vrut nici măcar să ofere sfaturi de despărțire. Llama 3 va fi mult mai bună la interpretarea cererilor pentru a reduce refuzurile false. În timp ce dezvoltatorii au depus mult efort în ceea ce privește securitatea.
Meta a depus mult efort pentru a evidenția rezultatele Llama 3 în diverse teste independente. Cu 70 de miliarde de parametri, Llama 3 a fost măsurat de companie ca fiind de multe ori mai performant decât ultima versiune publică a Gemini, Gemini Pro 1.5, care este disponibilă în prezent, precum și decât Claude 3. În seria de teste MMLU, Gemini este bătut la mustață de dezvoltarea Meta, în timp ce în măsurătorile HumanEval este net superior și triumfă în cadrul GSM-8K. Cu toate acestea, în măsurarea GPQA și în testul MATH, Gemini este câștigător.
Pe de altă parte, mai micul Llama 3 8B și-a depășit rivalii în toate aceste teste, dar a avut de înfruntat Gemma 7B și Mistral 7B. De asemenea, în raportul Meta s-a observat că GPT-4 nu a fost menționat deloc, astfel încât nu se știe de ce ar fi capabil în comparație.
Meta a alcătuit, de asemenea, propria suită de teste pentru o varietate de utilizări. Există bătăi de cap de programare, provocări de scriere creativă, raționament, rezumare. În mod deloc surprinzător, în acest test, Llama 3 70B și-a învins toți adversarii, chiar și bătrânul GPT-3.5 a ieșit învingător în acest punct.
Llama 3 va avea, îmbunătățiri care vor contribui la o mai bună funcționare a multimodalității, făcând sistemul mai bun la procesarea imaginilor și a altor formate de date. De asemenea, se pot aștepta ferestre de context mai lungi. Noul sistem LLM va putea să genereze imagini, dar nu se știe ce se va întâmpla cu videoclipurile. Este probabil ca Meta să nu fie încă pregătit pentru acestea.
Mark Zuckerberg a spus în timpul prezentării că aceste modele nu ar fi mai sigure dacă ar fi izolate complet. În timp ce încerca să argumenteze în favoarea deschiderii, a spus că este nejustificat să se vorbească despre motivul pentru care ar trebui folosit un model închis din motive de securitate. Acesta este motivul pentru care Meta va continua să încerce să mențină o funcționare deschisă în perioada următoare.
Meta a mai spus că deși a folosit mult mai multe date în timpul antrenamentului, a avut grijă să se bazeze doar pe datele publice disponibile pe internet. Desigur, la fel ca alte companii de tehnologie, detaliile nu au fost împărtășite. Ceea ce este interesant este că au folosit și informații sintetice generate de AI pentru antrenament, ceea ce sună interesant, dar nu este complet nou. Compania a precizat că nu au fost folosite în cadrul antrenamentului date personale disponibile prin intermediul serviciilor Meta.
Privind în viitor, Meta lucrează încă la Llama 3 400B, fiind publicate unele rezultate preliminare ale testelor, dar planurile sunt deja în curs de desfășurare pentru următoarea generație. Zuckerberg a confirmat că se gândesc deja la crearea Llama 4 și Llama 5. Dar a adăugat că acesta este un maraton, nu o cursă de sprint.
