În viitor, modul de utilizare a cipurilor HBM s-ar putea schimba, deoarece acestea sunt acum conectate la procesorul grafic sau la procesor prin intermediul unui așa-numit strat de intercalare, astfel încât să fie amplasate în imediata apropiere a procesorului. Se pare că SK Hynix lucrează la o modalitate prin care să se asigure că, în viitor, sandvișurile de cipuri HBM nu vor mai fi conectate la CPU sau GPU prin intermediul unui strat de intercalare, ci direct la acestea, ca să se obțină viteze mai mari și latențe mai mici.
Sandwichurile de cipuri HBM de astăzi sunt formate de obicei din 8 sau 12 plachete de memorie și conțin, de asemenea, un strat logic care le ține împreună ca un hub. Aceste sandvișuri de cipuri de memorie sunt apoi plasate lângă procesorul sau procesorul grafic cu ajutorul unui strat de intercalare, iar un cip finit poate fi conectat la controlerul de memorie printr-o adresă de memorie pe 1024 de biți. Sandwich-urile cu cipuri de memorie standard HBM4 care vor veni mai târziu ar putea aduce o mare schimbare în acest domeniu, deoarece SK Hynix intenționează să le permită să ocolească stratul de intercalare și să se așeze direct deasupra cipului. Compania caută deja ingineri pentru a realiza această dezvoltare, potrivit Joongang.co.kr, și va colabora, de asemenea, cu companiile fabless care dezvoltă produse care utilizează memoria HBM.
Nvidia se va număra printre partenerii colaboratori, ceea ce înseamnă că părțile pot proiecta împreună arhitectura și aplicația sandvișurilor de memorie pe cip, pe care TSMC le poate fabrica apoi folosind tehnologia de stratificare a plăcilor. Deși integrarea HBM4 pe o placă logică va fi simplificată prin faptul că nu va fi nevoie de un interpozitor costisitor ci doar de un bus de date de memorie pe 2048 de biți, însă cu probleme aparte.
Pe lângă interconectare, există o altă dificultate pentru proiectanți, și anume disiparea căldurii generate. În mod obișnuit, acceleratoarele pentru piețele HPC și AI în sine sunt deja destul de consumatoare și generatoare de căldură, dar adăugarea de sandwich-uri de plachete HBM deasupra cipurilor adaugă o altă provocare de răcire.
În timp, cipurile logice și memoriile ar putea deveni din ce în ce mai apropiate, atât din punct de vedere fizic, cât și din punct de vedere al tehnologiei de fabricație, ceea ce ar putea deschide ușa către noi oportunități.