超微找緩解記憶體瓶頸解方 收購新創 MEXT
記憶體缺貨、漲價拉高AI部署門檻,超微以今年6月收購的新創MEXT,尋找少買DRAM也能擴充算力的解方。依公司測試,Venice搭配MEXT後,五項AI代理測試在DRAM減半後,平均效能仍保留99%,讓有限的記憶體支撐更多運算需求。
MEXT於2023年成立,2024年便與超微合作。MEXT創辦人Gary Smerdon指出,在部分大容量記憶體伺服器中,記憶體可占整機成本六至九成。他說MEXT與EPYC結合,可提高每一美元換得的運算效能。
MEXT的關鍵,在於分辨哪些資料真正急著用。它將暫時不用的資料移至NVMe SSD,再用AI預測接下來需要的內容,提前送回DRAM,降低等待資料的影響。依團隊說法,AI引擎利用單一EPYC核心,不到一秒即可完成初步訓練,並持續隨工作變化調整,無須額外配置GPU。
依超微測試,上述代理測試採幾何平均,每單位DRAM成本的效能為全DRAM配置的1.9倍以上。DRAM減半時,新思科技(Synopsys)PrimeTime晶片設計工具保留95%效能,另一項三節點Spark資料處理測試也保留99%。