Categoria PC-urilor cu inteligență artificială va lua avânt în acest an, cu o lansare în masă de configurații care sunt deja pe deplin conforme cu cerințele Microsoft. În prezent, pentru a se califica în această nouă categorie, configurațiile trebuie să aibă un NPU sau un hardware țintă dedicat, care să efectueze fluxuri de lucru legate de AI într-un mod eficient din punct de vedere energetic. Alte cerințe indică că NPU-ul trebuie să aibă acces la cel puțin 16 GB de memorie de sistem și o performanță de calcul de 45 TOP/s.

Deocamdată, doar configurațiile cu SoC-uri Qualcomm Snapdragon X pot îndeplini aceste cerințe, deoarece NPU atinge performanța de 45 TOP/s doar pe aceste produse, în timp ce produsele Intel și AMD sunt mai lente, dar acest lucru se va schimba odată cu sosirea următoarei generații de procesoare desktop și mobile. Prin îndeplinirea cerințelor enumerate, PC-urile pot accelera sarcinile legate de AI la nivel local, evitând necesitatea de a se baza pe cloud, ceea ce poate fi o alegere bună atât din perspectiva securității datelor, cât și a latenței. Desigur, pentru sarcinile AI care necesită performanțe mai mari, este posibil ca NPU să nu fie suficientă, astfel încât sistemul trebuie să se bazeze fie pe cloud, fie pe GPU.

În cadrul unui eveniment recent de presă, echipa Nvidia a menționat că nivelul de performanță de 45 TOP/s stabilit de Microsoft este suficient doar pentru sarcinile de accelerare AI de bază, și dacă aveți nevoie de mai multă performanță, trebuie să vă bazați pe GPU, iar seria GeForce RTX 40 este foarte capabilă în acest domeniu. Acesta a fost principalul punct central al evenimentului, fiind discutate performanțele plăcilor grafice din seria GeForce RTX 40, cu comparații interesante cu privire la cât de mult avantaj oferă plăcile grafice de la Nvidia față de unitățile SoC echipate cu NPU și față de actualul vârf de gamă al rivalilor de la AMD.

Potrivit Nvidia, GPU-urile din seria RTX sunt capabile de performanțe de calcul exponențial mai mari în sarcini de lucru de tip AI, cu niveluri de performanță care variază între 100 TOP/s și 1300 TOP/s, în funcție de model. Experții Nvidia consideră că plăcile grafice din seria GeForce RTX sunt considerate echipamente AI premium, în timp ce NPU-urile ating doar nivelul de bază.

Serviciile bazate pe cloud care oferă accelerare AI, fac parte din categoria artileriei grele, deoarece oferă utilizatorilor mii de TOP/s de putere de calcul. Acestea sunt construite în mare parte în jurul propriilor plăci de accelerare ale companiei, întrucât Nvidia este considerată singurul lider serios în segmentul acceleratoarelor AI.

Pentru a susține afirmațiile de mai sus, au prezentat și propriile teste interne. Primul s-a axat pe crearea de conținut, comparând performanța GPU-ului GeForce RTX 4090 și 4050 pentru laptop, cu cea a lui M3 Max de la bordul notebook-ului MacBook Pro de la Apple. Au fost testate cu Arnold, Stable Diffusion, Blender, Chaos V-Ray, Octane, Adobe Premiere Pro Enhance Speech, DaVinci Resolve și ON1 Resize AI.

Pe baza măsurătorilor, sistemul echipat cu GPU GeForce RTX 4090 Laptop a fost de până la șapte ori mai rapid decât notebook-ul MacBook Pro de la Apple și chiar și sistemul echipat cu GPU GeForce RTX 4050 Laptop a produs un rezultat dublu. În medie, GPU-ul GeForce RTX 4090m a oferit de 5x, iar 4050m de 2x mai mult.

Următorul test important a vizat modelele de limbaj de mari dimensiuni, sau LLM-uri, cu Llama 2 7B int4 fiind în centrul atenției. Aici, GPU-ul GeForce RTX 4090m a fost comparat cu Apple M3 Max, în timp ce GPU-ul GeForce RTX 4050m a fost comparat cu Apple M3. În mod implicit, amblel GPU-uri au avut un avantaj de 42%, dar pe măsură ce dimensiunea lotului a fost ajustată la 8, diferența a crescut la 90%. Acest lucru arată importanța optimizării mărimii loturilor, care poate îmbunătăți performanța unei arhitecturi în comparație cu modul implicit.

În cel de-al treilea test, a fost folosit Procyon Stable Diffusion 1.5 de la UL, fiind reprezentată întreaga serie GeForce RTX 40 pentru desktop, în timp ce de cealaltă parte se afla actuala placă de top de la AMD, Radeon RX 7900 XTX. Pe baza măsurătorilor, GeForce RTX 4070 Ti și plăcile grafice mai rapide din seria GeForce RTX 40 au depășit toate plăcile grafice Radeon RX 7900 XTX, cu GeForce RTX 4090, având un avantaj de 2,8 ori mai mare. Cu toate acestea, GeForce RTX 4060 Ti și GeForce RTX 4060 au fost mult mai modeste decât Radeon RX 7900 XTX, nefiind o surpriză. Ceea ce a vrut să sugereze echipa Nvidia a fost că placa grafică din seria GeForce RTX 40 în cauză este semnificativ mai rapidă decât modelul AMD aflat la același nivel, cel puțin în acest test particular.

Nvidia a vrut să sublinieze faptul că plăcile grafice GeForce RTX din seria 40 sunt semnificativ mai rapide decât NPU-urile integrate în diferite procesoare, și sunt mai disponibile pe scară largă, deoarece se găsesc pe mai multe notebook-uri și PC-uri decât unitățile de procesare neuronală. Acesta este un fapt, dar Microsoft a declarat anterior, într-un mod indirect, că configurațiile care au un NPU alături de CPU și GPU îndeplinesc cerințele categoriei AI PC, adică majoritatea sistemelor cu plăci grafice din seria GeForce RTX nu îndeplinesc această cerință, deoarece nu au un NPU.

În timp ce performanța este de o importanță capitală, merită subliniat și faptul că, la Microsoft, nu doar performanța în cadrul sarcinilor de lucru legate de AI este importantă, ci și faptul că accelerarea este eficientă din punct de vedere energetic. Un sistem bazat pe GPU GeForce RTX 4090 Laptop oferă o performanță semnificativ mai mare decât un SoC cu NPU, dar în schimb consumă de până la 2 x 5 x mai multă energie. Pentru un notebook, durata de viață a bateriei este foarte importantă, motiv pentru care eficiența energetică este un aspect esențial.

Desigur, NPU-urile vor evolua în viitor și nu este exclus ca echipa Microsoft să modifice în cele din urmă cerințele pentru categoria PC-urilor cu AI. Ar fi logic să se creeze mai multe niveluri de performanță și subcategorii în cadrul categoriei AI PC și să le definească în detaliu.