AI 代理算力消耗達人類 5 倍，全球記憶體短缺恐加速爆發

最新市場數據顯示，AI Agent（AI 代理）的運算規模正迅速擴張，但其成長核心已不再單純是模型推理，而是大量重複讀取上下文所帶來的「快取負載」。Futurum Group 執行長 Daniel Newman 引述創投公司 a16z 整理的 OpenRouter 數據指出，截至今年 8 月，AI 相關的 Token 使用量已達人類的 5 倍左右，且預料此差距未來還會進一步擴大。

根據 OpenRouter 的統計，自今年 2 月雙方使用量出現黃金交叉後，Agent 類型的 Token 消耗量已從約 0.51 兆暴增至 7.3 兆，成長幅度高達 14 倍；同期間，人類的使用量僅增長約 2.8 倍，來到 1.4 兆。為了精準區分流量，OpenRouter 依據 API Key 的行為特徵（包含工具呼叫頻率、對話輪數與間隔時間等訊號）建立加權模型，將流量嚴格劃分為 Agentic（代理）、Mixed（混合）與 Human（人類）三大類別。

然而，這波爆發性的成長並不代表所有 Token 都是從頭進行全新運算。a16z 強調，超過 85% 的 Agent Token 其實來自於「快取提示」（Cached prompts），也就是 AI 在重讀過去已經看過的內容。這意味著，雖然 Token 消耗量看似驚人，實際衍生的運算費用未必等比例暴增；真正承受巨大壓力的，反而是必須長時間保存這些上下文的記憶體資源。模型會將這些對話狀態儲存在所謂的「KV 快取」（KV cache）中，而目前暴增的需求已被形容為正快速超越 GPU 上高頻寬記憶體（HBM）的容量極限。

這股硬體壓力也已在實際應用端發酵。報導指出，一家測試 DeepSeek 模型的客服顧問公司發現，在他們 9 月份使用 Claude Code 的紀錄裡，高達 96% 的輸入都在「重讀舊對話」。這凸顯了 AI Agent 的特殊工作流程：它們通常不是進行單次問答，而是需要持續搜尋、呼叫外部工具、執行程式並反覆檢查結果，這種不斷循環的過程讓記憶體與頻寬的需求同步狂飆。

面對這股趨勢，硬體供應鏈的前景同樣充滿挑戰。記憶體大廠美光（Micron）預警，RAM 與儲存設備的短缺情況將在 2027 與 2028 年進一步惡化，客戶面臨的採購價格也將高於今年，且記憶體廠勢必會優先將高利潤的 HBM 產能分配給 AI 資料中心。隨著 AI Agent 的使用量持續攀高，市場對硬體瓶頸的關注焦點，正逐漸從「算力不足」轉向日益敏感的「記憶體短缺」。

• AI agents use 5x more tokens than humans as cached prompts explode, headed for 10x — agents are mostly rereading what they've already seen, skyrocketing KV cache demand threatens already-worsening RAM shortages

（首圖來源：shutterstock）

立刻加入《科技新報》LINE 官方帳號，全方位科技產業新知一手掌握！