解密Qualcomm Hexagon NPU 為代理式AI打造的全新行動運算架構

行動運算的下一個時代將由AI代理所定義：這些智慧系統能夠理解個人情境、跨應用程式運作、持續進行推理，並代表使用者採取行動。隨著AI日益朝代理式AI發展，最具優勢的架構並不會由單一大型模型處理所有任務，而是由多個專用模型組成的系統，並根據任務、情境與不同使用者，智慧地調度適合的模型，而全新Qualcomm Hexagon NPU正是為此轉變而打造的關鍵核心。

專為Transformer工作負載而生的關鍵設計

這項轉變所需要的不只是更快的AI推論，更需要一套專為持續運行、多模態與低延遲智慧而打造的全新架構。高通技術公司正透過新一代頂級行動平台導入這項基礎架構，以全新Qualcomm Hexagon NPU為核心，並帶來兩項亮點功能：全新Element Accelerator與容量大幅提升的共享記憶體系統。

Element Accelerator專為驅動現代生成式與代理式AI的Transformer工作負載而打造。搭配純量、向量與矩陣擴充功能，Element Accelerator可加速大型模型最關鍵的運算，協助AI代理更快速地回應、更高效率地進行推理，並在不犧牲行動裝置功耗效率的前提下，帶來更豐富的體驗。

大幅擴充的共享記憶體與協同運算架構

高通的Hexagon NPU同時大幅擴充了大型共享記憶體容量。NPU記憶體子系統容量增加50%，讓更多模型狀態、啟用值與中間張量能夠保留在晶片上，減少外部記憶體存取次數，有助於降低記憶體瓶頸，帶來速度更快、回應更即時的代理式AI體驗。

這些創新共同確立了新一代Hexagon NPU的關鍵定位：直接在裝置端運行更多代理式AI體驗。Element Accelerator、向量、矩陣與純量擴充功能，以及更大的共享記憶體，共同構成完整的協同運算架構，協助NPU加速Transformer工作負載，並在裝置端帶來極致快速的代理式AI體驗。

支援混合專家模型（MoE）與廣泛精度範圍

Hexagon NPU同樣專為新一代模型架構而打造。高通技術公司正與領先的記憶體與模型供應商合作，導入以混合專家模型（Mixture-of-Experts，MoE）為核心的新一代裝置上AI架構。

• Mixture-of-Experts（MoE）架構：一個擁有300億參數的MoE模型，可保有數百億個參數供使用，同時在NPU上每次生成token時，僅啟用約30億個經路由選擇的參數，降低實際運算量與記憶體頻寬需求。
• 廣泛精度支援：透過支援INT2、INT4、INT8、FP8與FP16，開發人員能更靈活地在效能、記憶體、模型品質與功耗之間取得平衡。
• 預填效能提升：針對以INT4為基礎的模型，該平台可帶來最高50%的預填效能提升、更快的解碼吞吐量、強化的推測解碼，以及更高的整體每秒token數。

玩家總結

隨著AI逐漸邁入代理式AI時代，高通推出的全新Qualcomm Hexagon NPU透過Element Accelerator與增加50%的共享記憶體，成功突破行動運算的效能瓶頸。結合對混合專家模型（MoE）的支援以及多元精度範圍，該架構能在裝置端實現低延遲、高隱私且快速回應的生成式AI體驗，為未來的智慧行動裝置奠定強大的硬體基礎。

延伸閱讀：
國內規模最大據點！Scania全新台北服務廠啟用、「吊車大王」胡漢龑親臨交車同賀
全新NISSAN e-POWER X-TRAIL「曜日」震撼上市 136.9萬起體驗純電駕馭
SYM Fiddle DX 158、Fiddle 125升級「ZRSG 3.0競能電驅系統」上市！首購享四重好禮
Pinterest攜手NVIDIA重構AI基礎設施：以85倍速度服務640萬名用戶