Apple, într-o mișcare neobișnuită pentru companie, a dezvăluit hardware-ul utilizat pentru serviciul Apple Intelligence anunțat la WWDC 2024, împreună cu un document de cercetare detaliat, dezvăluind o mulțime de detalii. În ciuda faptului că segmentul HPC și AI este dominat de produsele Nvidia, compania nu a ales acceleratoare AI A100 sau H100 pentru a antrena modelul de limbaj mare, ci s-a bazat pe soluțiile proprii ale Google, cipurile TPU de a patra și a cincea generație, care au creat AFM (Apple Foundation Models), baza Apple Intelligence. Animozitatea între Apple și NVIDIA fiind destul de mare, chiar și publică, aceasta era probabil motivul trecerii la AMD.
Cipurile TPU v4 și v5 au fost utilizate pentru a antrena modelele AI, iar seturile de date licențiate de înaltă calitate, datele web crawlerului Applebot, codul selectat, informațiile matematice și seturile de date publice au fost utilizate pentru deducere pentru a extinde capacitățile modelelor.
Modelul AFM-server, care este considerat cel mai mare model de limbaj mare (LLM) al Apple, a fost creat utilizând un cluster de 8192 cipuri TPUv4, împărțit în opt felii, fiecare constând din 1024 cipuri TPUv4, conectate printr-o rețea de centre de date (DCN). Serverul AFM, care va fi disponibil numai și exclusiv online, constă în 6,4 miliarde de parametri și a utilizat un total de 7,4 trilioane de jetoane pentru a-l antrena. Pregătirea a fost efectuată în trei etape, în prima etapă fiind procesate 6 300 de miliarde jetoane, urmate de 1 000 miliarde și apoi de alte 100 miliarde de jetoane.
Modelul AFM-on-device de pe dispozitivele Apple a fost construit pe un hardware diferit, folosind cipul TPU v5 de la Google, dintre care 2048 erau disponibile ca un singur cip. LLM AFM-on-device nu mai este construit din 6,4 miliarde de parametri, ci doar 3 miliarde, care este în esență distilat din modelul serverului, dar ar trebui să fie încă suficient de puternic.
Desigur, modelele lingvistice mari au fost supuse unor teste, care arată că atât AFM-server, cât și AFM-on-device LLM au performanțe bune în domeniile Urmărirea instrucțiunilor, Utilizarea Instrumentelor și Scrierea, ceea ce sugerează că modelele lingvistice mari ale Apple ar putea fi concurenți puternici în segmentul AI, unde vor întârzia puțin.
Deoarece furnizorul are o bază imensă de dispozitive, dintre care majoritatea vor fi compatibile cu Apple Intelligence, introducerea acestei inovații ar putea transforma modul în care utilizatorii interacționează cu dispozitivele lor, în special în sarcinile zilnice. Apple Intelligence este încă în curs de perfecționare, un proces care este crucial, deoarece rezultatul final trebuie să fie suficient de robust și fiabil pentru a face o diferență pozitivă în viața a milioane de dispozitive și pentru a funcționa fiabil.
Pentru mai multe detalii despre cercetare, consultați acest document. Publicarea descrierii este o surpriză, deoarece nu suntem obișnuiți cu acest tip de claritate de la Apple, dar se pare că febra AI a dus la o schimbare a practicii în acest caz. Acest lucru este bun, este întotdeauna o plăcere să obținem o privire în culise. Să sperăm că funcționarea Apple Intelligence va fi la fel de pozitivă atunci când va fi în sfârșit gata de implementare.
