隨著AI運算速度不斷提升，對於記憶體的要求也越來越高，想像過去的學霸通常也都是記憶力強的人，而AI必須短時間內生成圖片與影片，對於記憶體的要求與運算速度當然也更高。
DRAM:動態隨機存取記憶體，揮發性記憶體，斷電後資料即消失。
NAND Flash:非揮發性記憶體，斷電後資料不會消失，可以重複讀寫，如USB與SSD固態硬碟。
HBM(高頻寬記憶體):High Bandwidth Memory是DRAM的進化版，運用TSV直接在記憶體上穿孔，把DRAM堆疊起來就是HBM。
為了節省空間，將每一層DRAM控制在只有人類頭髮一半的厚度，再透過TSV與先進封裝組合，堆疊8-16片DRAM來加大頻寬與儲存空間就是HBM。
想像過去工廠只有一層樓都靠人力搬運資料，HBM則是有八層樓，產線自動化還加了電梯(TSV)，速度變更快，能處理的資料貨物就更多，效率提升也同步達到省電的效果。
圖片來源:數位時代official
HBM因為空間縮小對於散熱的要求也較高，所以必須用水冷或液冷，在如此高技術門檻下自然HBM價格就會高，比起DRAM價格高出10倍以上，而目前GB200每個晶片平均都8顆HDM，需求也相當高。
預計HBM規模將在2024年達到25億美元，到2029成長至近80億美元，年複合成長率約26%
目前生產HBM廠當中，海力士占比最高也是NVIDIA供應商，市佔率50%，其中HBM3市佔率更高達8成。
三星目前逐漸追趕中，其中三星也提供量產所需要的2.5D封裝，提供一站式服務，成為這次HBM爭奪的重要武器之一。
而美光部分由於之前研發HMC混合記憶體立方體，直到2018年才放棄HMC計畫轉向研發HBM，所以目前進度稍微落後。
目前DRAM的製程高低排序低至高為:1y=>1Z=>1α=>1β=>1gamma。而最新的HBM3E，海力士與美光均用1β製成，較三星領先。