Nvidia a anunțat zilele trecute la SC23 mai multe noutăți interesante, printre care acceleratorul GH200, care a fost prezentat în vară, dar și debutul unui produs din seria H200, care are mai multă memorie la bord și mai rapidă în comparație cu actuala placă de accelerare pentru piața AI/HPC H100. Totodată, compania a prezentat și o placă ce găzduiește nu mai puțin de patru superchipuri GH200. Este posibil să fiți familiarizați cu GH200 de pe site-ul anterior .
Vedeta spectacolului este cu siguranță placa de accelerare H200, unde au fost evidențiate modificările aduse memoriei on-board, caracteristicile exacte ale GPU-ului sunt încă neclare, dar se pare că nu vor exista schimbări substanțiale în acest domeniu, în ceea ce privește arhitectura și performanța brută de calcul. În esență, acceleratorul H200 este special deoarece conține 141 GB de memorie HBM3E on-board în loc de 80 GB, ca de obicei, la fel ca și actualizarea anunțată anterior pentru GH200.
Cei 141 GB de memorie HBM3E la bord ar fi de fapt 144 GB, dar capacitatea de 3 GB a fost limitată din considerente de randament, de unde și capacitatea neobișnuită a memoriei. Cipurile în sine sunt acum conectate la un magistrală de date de memorie pe 6144 biți în loc de 5120 de biți ca de obicei, și sunt mai rapide decât de obicei, viteza de 5,24 Gbps fiind înlocuită acum cu aproximativ 6,5 Gbps. Lățimea de bandă a memoriei crește în mod corespunzător, în esență catapultându-se de la 3,35 TB/s la 4,8 TB/s, o creștere de 43%. Performanțele de calcul GPU par să rămână neschimbate.
Desigur, vor exista numeroase îmbunătățiri ale performanțelor, datorită unei memorii de bord mai multe și cu o lățime de bandă mai mare. Pentru modelele de limbaj (LLM), măsurătorile interne ale Nvidia arată că H200 poate oferi o viteză de până la 18 ori mai mare decât A100, în timp ce poate fi de aproximativ 11 ori mai rapidă decât H100. Graficul prezintă, de asemenea, viitorul accelerator Blackwell B100, dar partea de sus a coloanei este ascunsă. Ceea ce este clar este că B100 ar putea aduce creșteri uriașe de viteză pentru modelele lingvistice mari. Nvidia intenționează să lanseze H200 cândva în al doilea trimestru al anului 2024.
S-a vorbit, de asemenea, despre sistemele HGX H200, care vor fi, versiuni echipate cu GPU H200 ale modelelor bazate pe H100. Tranziția între cele două serii va fi fără probleme, adică acceleratoarele H100 pot fi ușor înlocuite cu acceleratoare H200 dacă nevoile utilizatorilor o cer. Nu va fi necesară nicio modificare a infrastructurii sau a condițiilor de funcționare, ceea ce reprezintă o veste bună pentru utilizatorii din industrie. HGX 200 va avea la bord opt acceleratoare în format SXM, ca și în cazul HGX 100 bazat pe H100.
Mai interesant este Quad GH200, care conține patru cipuri de procesor bazat pe Grace și GPU bazat pe Hopper pe un singur PCB. Aceste acceleratoare cu o singură placă pot deveni apoi parte a unor sisteme mai mari. În cadrul PCB, fiecare chip este interconectat cu celelalte prin intermediul unei topologii NVlink cu patru căi.
Fiecare nod Quad GH200 are un total de 288 de nuclee de procesare bazate pe ARM și 2,3 TB de memorie de mare viteză la bord. Aici nu se face nici o mențiune despre HBM3, ceea ce înseamnă că produsele bazate pe HBM3 ar putea avea mai întâi un loc pe chipseturile speciale, adică un procesor Grace ar putea primi 480 GB de memorie LPDDR5 la bord, în timp ce un GPU Hopper ar putea avea 96 GB de memorie HBM3. Împreună, aceasta înseamnă 1920 GB de memorie LPDDR5X și 384 GB de memorie HBM3.
