請更新您的瀏覽器

您使用的瀏覽器版本較舊,已不再受支援。建議您更新瀏覽器版本,以獲得最佳使用體驗。

華為發表 AI 新技術「UCM」,擺脫 HBM 依賴、AI 推理速度暴增 90%

科技新報

更新於 2025年08月14日14:08 • 發布於 2025年08月14日13:57

由於美國出口限制,中國很難獲得 HBM 等關鍵資源。對此,華為打算幫助中國科技市場不再依賴 HBM。根據市場消息,華為開發一款名為「統一快取管理器」(Unified Cache Manager,簡稱 UCM)的新軟體工具,無需使用 HBM 即可加速大型語言模型(LLM)的訓練與推理。

華為週二(12 日)在 2025 金融 AI 推理應用落地與發展論壇上發表 UCM 工具。該軟體根據不同記憶體類型的延遲特性,以及各類 AI 應用的延遲需求,將 AI 資料分配在 HBM、標準 DRAM 與 SSD 之間。

華為資料儲存產品副總裁躍峰指出,目前 AI 推理面臨三大問題:「推不動」(輸入內容太長超出處理範圍)、「推得慢」(回應速度太慢)、「推得貴」(運算成本太高)。

UCM 透過「分層記憶」的 Key-Value 快取架構,根據系統的可用資源速度最大化。

據介紹,華為這次發布的 UCM,是做為一款以 KV 快取(KV Cache)為中心的推理加速套件,融合多類型緩存加速演算法工具,分級管理推理過程中產生的 KV 快取記憶數據,擴大推理上下文視窗,實現高吞吐、低時延的推理體驗,並降低每 Token 推理成本。

UCM 在發表前已進行過長時間的實際應用測試。周躍峰指出,UCM 曾在中國銀聯中試用,應用場景包括「客戶語音分析、行銷規劃與辦公協助」。根據華為數據,搭配傳統快取與儲存技術的系統,在 AI 推理任務中使用 UCM,可將延遲降低最高達 90%,吞吐量提升至 22 倍。

華為計劃 9 月正式開源 UCM,屆時將在魔擎社區首發,後續逐步貢獻給業界主流推理引擎社群,並共享給業內所有 Share Everything(共享架構)儲存廠商和生態夥伴。

由於目前 HBM 晶片幾乎全由 SK 海力士、三星及美光生產,而美國一直致力於阻撓中國購買或自製 HBM,而 UCM 的出現有望擺脫美國牽制,加速中國晶片技術自主化。

(首圖來源:Flickr/Web Summit CC BY 2.0)

立刻加入《科技新報》LINE 官方帳號,全方位科技產業新知一手掌握!

查看原始文章

更多理財相關文章

01

〈美股盤後〉油價下滑 道瓊漲逾500點 全球晶片股慘遭血洗 費半狂瀉近5%

anue鉅亨網
02

蘋果市值首度站上5兆美元

路透社
03

台股重挫2030點!0050跌至97元股民哀號 施昇輝示警:別買2種ETF

CTWANT
04

熊本7.1強震!台積電部分建廠工程暫停 經濟部證實台廠暫無影響

CTWANT
05

韓股熔斷、台股暴跌逾2000點!4大主因曝光

EBC 東森新聞
06

史上第3慘!聯電、國巨*等97家鎖跌停 指數收跌2030點

自由電子報
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...