Potrivit Microsoft, performanța anumitor fluxuri de lucru din segmentul HPC este puternic afectată de lățimea de bandă de memorie disponibilă. Pentru a îmbunătăți performanța, compania a încercat să compenseze acest lucru cu procesoarele de server AMD EPYC din seriile Milan-X și Genoa-X în cadrul serviciului Azure Virtual Machine, care au oferit câștiguri semnificative de performanță prin intermediul 3D V-Cache, dar se pare că acestea nu au fost pe deplin satisfăcute. Deoarece AMD a produs între timp acceleratoarele AI MI300A și MI300X, dintre care primele sunt unități APU dedicate cu memorie HBM3, Au folosit o abordare creativă pentru a rezolva problemele legate de lățimea de bandă limitată a memoriei.
Soluția a fost un procesor special care poate utiliza HBM3 în loc de 3D V-Cache, dar cu o capacitate foarte mare. Această inovație va ajuta la creșterea cantității de date transferate, dar datorită specificității HBM3, se așteaptă ca latența să fie mult mai rea, ceea ce nu pare să afecteze fluxurile de lucru din zona țintă suficient de negativ pentru a face ca noile procesoare să nu merite produse. Memoria HBM3 nu mai este integrată ca și o soluție cache L3, ci ca un cache super-rapid de ultim nivel.
Noile procesoare de server AMD EPYC vor fi folosite pentru mașinile virtuale HBv5 al Microsoft Azure, care nu sunt disponibile publicului, și pot găzdui până la 4 procesoare de genul. Aceasta înseamnă că au acces la un total de 352 nuclee ZEN 4, cu un total de 450 GB memorie HBM3 încorporată. Suportul SMT încorporat este dezactivat pe fiecare, ceea ce înseamnă că un nucleu poate lucra doar pe un singur fir, obținând o lățime de bandă dublă față de soluția Infinity Fabric. Pentru mașinile virtuale, conectivitatea este asigurată de tehnologia Quantum-2 InfiniBand de 800 Gbps al Nvidia.
Pe baza celor de mai sus, un singur procesor de server AMD EPYC nou oferă 88 nuclee pentru HBv5 VM, dar este probabil să existe mai multe variante de nuclee la bord. Cel mai probabil, 8 nuclee vor efectua sarcini HyperVisor, adică sunt responsabile pentru sarcinile din spatele VM, deci nu sunt accesibile prin VM. Noua dezvoltare va ajuta la creșterea performanțe,i și este probabil să se bazeze pe unitatea APU MI300A cunoscută, care în acest caz nu include un GPU bazat pe CDNA3, ci doar și exclusiv nuclee de procesare construite în jurul arhitecturii ZEN 4. Un astfel de cip a apărut deja cu denumirea MI300C - este posibil ca acesta să fie ceea ce a primit divizia Azure a Microsoft.
