Echipa SanDisk a prezentat un nou concept interesant și revoluționar care ar putea fi util în segmentul acceleratoarelor AI, practic dându-l peste cap. Acceleratoarele AI moderne utilizează în prezent sandvișuri de cipuri de memorie construite în jurul unei versiuni a standardului HBM, (High-Bandwidth Memory), de obicei HBM3 sau HBM3E, în viitorul apropiat aterizând și HBM4. Aceste sandvișuri de cipuri oferă o lățime de bandă uriașă, dar sunt scumpe de produs, iar capacitatea lor este limitată la doar 192 GB.
HBF (High-Bandwidth Flash), este în esență același concept ca HBM, adică acceleratoarele AI de generație următoare vor avea acces la ele sub formă de sandvișuri de cipuri de memorie, dar aceasta nu va mai fi DRAM, ci bazată pe Flash, cu toate avantajele și dezavantajele sale. SanDisk preconizează că HBF va permite alocarea a până la 4 TB VRAM pentru fiecare procesor grafic, ceea ce reprezintă o îmbunătățire uriașă față de cele actuale. Potrivit experților companiei, sandvișurile HBF pot oferi o capacitate de 8 până la 16 ori mai mare decât soluțiile de tip HBM, menținând în același timp același cost și aceeași lățime de bandă.
HBF va fi creat folosind cipurile de memorie BiCS 3D NAND Flash ale companiei, deși nu a fost dezvăluită tehnologia din spatele acestuia. Acest lucru este important deoarece celulele de memorie NAND Flash au un număr finit de cicluri de scriere/ștergere, mult mai mic decât cel la care poate rezista un cip de memorie HBM, astfel încât nu este lipsit de importanță ce soluții sunt utilizate pentru a crește durata de viață și robustețea acestora. Un lucru este sigur, sunt sunt așezate pe o placă I/O, folosind tehnologia CMOS Direct Bonded to Array (CBA).
Cu toate acestea, deoarece cipurile NAND Flash tradiționale stochează datele sub formă de matrice, au fost necesare unele modificări pentru a permite accesarea mai multor celule în paralel, permițând astfel ca lățimea de bandă a datelor să atingă nivelul dorit. În cazul celulelor, cea mai mică unitate care poate fi ștearsă este blocul, iar în cadrul acestuia ce cea mai mică unitate care poate fi scrisă este pagina - aceasta din urmă constând din mai multe blocuri. Prin urmare, zona este împărțită în mai multe blocuri, care pot fi gestionate în paralel de controlerul de memorie.
Primele produse HBF sunt planificate să fie compuse dintr-un total de 16 plăci, care vor fi stivuite în straturi. A fost necesară dezvoltarea unei tehnologii speciale pentru stratificarea plăcilor fără deformare. La baza fiecăruia dintre aceste sandvișuri se află un circuit logic capabil să se ocupe de mai multe cereri în paralel, mult mai complex decât un controler SSD tradițional.
Din păcate, nu s-a menționat performanța HBF, dar pare similar cu HBM, fiind construit ca să atingă acest nivel, dar nu s-aprecizat cum vor funcționa comparativ cu HBM 3, aceasta oferind 128 GB/s.
Noutatea are o mică limitare care restrânge domeniile în care poate fi utilizat eficient. Latența per bit nu va ajunge niciodată la cea a HBM, tocmai de aceea oficialii SanDisk au declarat că noua tehnologie va fi util primar pentru sarcini intensive de citire, cum ar fi stocarea unor cantități mari de seturi de date care sunt utilizate în scopuri de deducere de către acceleratori. În aceste cazuri, lățimea mare de bandă a datelor poate fi mai importantă decât latența ultraredusă oferită de HBM, ceea ce înseamnă memoria HBF poate avea nișa sa de utilizare, dar nu va înlocui HBM în viitorul apropiat. HBF în sine utilizează același cuplaj ca HBM la nivel electronic, dar nu se pot înlocui direct.
Interesantă va fi și problema robusteții, care nu este încă specificată, deși este un aspect critic. Echipa SanDisk nu a oferit încă detalii cu privire la disponibilitate, dorind ca noua dezvoltare să fie disponibilă ca standard deschis într-un ecosistem deschis, iar colaborările cu industria ar putea începe în viitorul apropiat.
