Deși revoluția inteligenței artificiale este deja în plină expansiune, în realitate ne aflăm încă la început de drum și există multe lucruri pe care dezvoltatorii nu le înțeleg sau nu se gândesc neapărat la ele în legătură cu sistemele LLM și AI. Un proiect de cercetare recent realizat de Microsoft, în cadrul căruia au folosit LASER împreună cu LLM, nu au obținut deloc rezultatele așteptate.
În cadrul Microsoft Research Forum, Dipendra Misra, cercetător principal la Microsoft Research Lab NYC, a prezentat un raport privind impactul LASER, sau Layer-Selective Rank Reduction, asupra performanței modelelor lingvistice mari.
Prin LASER, cercetătorii pot interveni și înlocui o matrice complexă cu una mai mică. Aceste matrici reprezintă contextul modelelor. O matrice complexă înseamnă că există mai multe conexiuni, mai multă "încredere" în cadrul modelului. Așadar, atunci când o înlocuiți cu una mai mică, ar trebui să fie reducă precizia. Dar iată care este întorsătura poveștii, deoarece experiența practică a contrazis acest lucru.
Misra raportează că experimentele au dat mai multe rezultate surprinzătoare și au confirmat că au reușit să obțină îmbunătățiri în toate cazurile de până acum, atunci când LASER-ul este utilizat în mod corespunzător. Au testat procedura experimentală pe trei modele complet diferite, disponibile în mod deschis, și au reușit să îmbunătățească precizia în toate cazurile.
Au folosit RoBERTa, Llama 2 și GPT-J, iar experiența lor generală a arătat că au reușit să obțină o creștere a acurateței de 20-30%.
În cazul GPT-J, de exemplu - a nu se confunda cu soluția OpenAI, care este dezvoltată de Eleuther - îmbunătățirea a fost foarte impresionantă. Pentru determinarea sexului pe baza datelor biologice, LLM a reușit să obțină 70,9% din rezultate, ceea ce este considerat mediu. Cu toate acestea, după intervenția LASER, am reușit să se crească precizia până la 97,5%, ceea ce este destul de impresionant.
"Atunci când faceți o intervenție asupra LLM folosind LASER, se așteaptă ca pierderea modelului să crească, deoarece va exista mai multă inferență, mai puține conexiuni, ceea ce înseamnă că modelul va avea performanțe slabe. În principiu, așa ar fi, pentru că aruncăm informații de la un LLM pe care l-am antrenat pe blocuri mari de date", a spus Misra. "Dar, spre surprinderea noastră, am constatat că, dacă facem tipul corect de intervenție LASER, precizia modelului nu scade, ci crește".
În prezent, diversele servicii de inteligență artificială generativă fac adesea greșeli, sunt predispuse la așa-numitele halucinații și, în astfel de cazuri, oferă informații false cu toată încrederea. Din acest motiv nu ar trebui să fie încă de încredere, iar toate afirmațiile lor au nevoie de verificare.
Acest test sugerează că dezvoltatorii ar putea fi capabili să optimizeze sistemele LLM major, pentru a-și face treaba mai fiabil în viitor.
