Intel a dezvăluit la Vision 2024 o dezvoltare foarte importantă, cea mai recentă din seria Gaudi, Gaudi3, care înlocuiește Gaudi2 dezvoltat de Habana Labs, o companie achiziționată de Intel în urmă cu 5 ani. Viitoarea dezvoltare reprezintă o îmbunătățire majoră față de predecesorul său în mai multe domenii și poate chiar să se ia la trântă cu produsele Nvidia, liderul pieței de acceleratoare AI și HPC, cu rezultate promițătoare.

Gaudi3 se bazează pe două cipuri realizate în fabrica TSMC, folosind o tehnologie de 5 nm. Cele două plachete conțin fiecare 32 de nuclee Tensor, care reprezintă o îmbunătățire față de cele 24 de nuclee Tensor utilizate în Gaudi2. Fiecare cip primește 48 MB de SRAM, ceea ce duce la o soluție finală cu 96 MB de SRAM și 64 de nuclee Tensor gen5.

Lățimea de bandă a memoriei pentru SRAM este foarte mare, de 12,8 TB/s, dar încapsularea include și puțină memorie HBM2e. În timp ce în Gaudi2, cipurile HBM2e aveau o lățime de bandă de numai 2,45 TB/s, cea mai recentă actualizare implementază una de 3,7 TB/s. În plus, capacitatea de memorie a fost mărită de la 96 GB la 128 GB.

Noul accelerator pentru piața AI și HPC este disponibil în mai multe modele. Placa în format PCI Express, modelul HL-388, utilizează interfața PCI Express 5.0, cu 16 benzi. Se pare că această versiune are un cadru TDP între 450 W și 600 W, ceea ce nu este foarte comun în această categorie. În același timp, producătorul a produs și ediții în format OEM, care au fost denumite HL-328, HL-325L și HL-335.

Cadrul TDP variază de la 450 W până la 900 W, în funcție de model. Acceleratoarele HL-328 și HL-325L utilizează răcire cu aer asigurate de coolerele serverelor respective. În schimb, versiunea HL-335, cu un cadru TDP de 900 W, poate fi răcită doar cu lichid.

La ce fel de performanțe ne putem aștepta de la aceste noi adiții? Din nefericire, în acest moment sunt disponibile doar cifrele producătorului, iar acestea trebuie tratate cu un grad sănătos de suspiciune. Conform previziunilor Intel, Gaudi3 poate atinge o viteză medie între 1,4 și 1,5 ori mai mare decât cea a rivalului Nvidia, H100, în funcție de modelul de limbaj folosit(LLM).

În sarcinile de deducere, performanța variază în funcție de sarcină, rezultatele variind de la un decalaj de 10% până la un avantaj de 70% sau mai mult. În comparație cu H200, dezavantajul este de 20% dar în unele cazuri un avantaj de 3,8x, cu o rată medie de accelerare de numai 1,3x. Gaudi3 în sine nu stă rău în ceea ce privește eficiența energetică, potrivit Intel, depășind liderul de piață Nvidia H100 cu 1,2x și 2,3x, ceea ce este o veste bună, deoarece arată că Intel dorește să concureze cu Nvidia pe piața acceleratoarelor AI și HPC, iar direcția nu este rea.

De data aceasta, comparațiile între furnizori s-au limitat doar și exclusiv la modelele H100 și H200 de la Nvidia, membrii seriei Instinct de la AMD nu au fost comparați cu Gaudi3, deși soluțiile AMD din seriile MI300A și MI300X au ieșit destul de bine în evidență. De asemenea, trebuie menționat faptul că Nvidia a anunțat deja produse bazate pe Blackwell care aduc un plus de viteză considerabilă față de cele bazate pe Hopper, astfel că Intel Gaudi3 va avea mult de lucru dacă vrea să le concureze. Producătorul intenționează să facă Gaudi3 semnificativ mai ieftin decât produsele Nvidia, dar nu a spus exact la ce prețuri se pot aștepta jucătorii de pe piață. Dacă prețurile sunt corecte, Intel ar putea fi în măsură să ia o bucată din profiturile Nvidia.

Intel intenționează să pună Gaudi3 la dispoziția partenerilor în prima jumătate a anului sub formă de mostre, urmând ca în a doua jumătate a anului să înceapă livrări mai mari.