AI推論卡在資料搬移，SK海力士推CXL記憶體池提升快取共用效率

AI推論服務逐漸面臨記憶體容量與資料搬移瓶頸。SK海力士SK hynix(000660-KR)10月16日公布OCP全球峰會展示成果，透過CXL記憶體池，讓多台伺服器共用記憶體與推論快取，降低重複傳輸負擔，並展示結合DRAM與SSD的混合架構。

CXL可讓伺服器依需求取用共用記憶體資源。公司此次展示第二代256GB CMM-DDR5模組，採用CXL 3.2，頻寬達每秒80GB，較前一代提高逾一倍，能源效率改善約30%。

這項技術瞄準AI代理反覆讀取、交換資料的需求。大型語言模型透過KV快取保留先前運算結果，對話愈長、同時處理的任務愈多，快取容量與搬移負擔也隨之增加。SK海力士與Marvell等夥伴展示在機櫃層級共用快取，減少透過傳統網路交換資料的負擔。

另一項與AMD等夥伴合作的展示，則將完整KV快取存放於SSD，再預先把可能用到的內容載入DRAM，兼顧容量與讀取速度。這使DRAM與SSD在推論系統中分工：大量資料由SSD保存，需要快速存取的部分交由DRAM處理。

目前相關應用仍以系統展示與驗證為主。SK海力士與NAVER Cloud合作的AI代理快取共用及多模態資料共用方案，已完成概念驗證；後續擴大導入仍需配合客戶工作負載與軟體整合。