DeepSeek 把 AI 推論框架開源了！揭露單一叢集日處理 155 兆 Tokens 的系統設計
單一叢集每天處理 155 兆 Tokens，DeepSeek 如何配置 GPU 與快取，支撐如此龐大的 AI 服務？中國 AI 新創 DeepSeek 10 月 20 日開源推論框架 DeepInfer，同步揭露自家 V4.1 Flash 大規模推論系統的部署細節。
《Bloomberg》分析，這套軟體有助加快 AI 模型執行、提高運算資源效率，DeepSeek 也表示希望藉此降低業界的運算與能源成本。更值得注意的是，這次開放的不只是模型權重或個別加速工具，而是整合式推論引擎。DeepSeek 究竟多公開了什麼，又如何處理如此龐大的推論需求？
從開放模型權重到推論引擎，DeepSeek 這次有何不同？
DeepSeek 過去便以開放權重模型聞名，從 DeepSeek-V3、R1 等模型開始，企業與開發者便能自行下載、部署模型，不必完全依賴官方 API。但取得模型權重，不代表就能以同樣的效率提供大規模 AI 服務。
為提高推論效率，DeepSeek 在 2025 年陸續開源 FlashMLA、DeepGEMM、DeepEP 等函式庫，針對注意力機制、矩陣運算及混合專家模型（MoE）的跨 GPU 資料傳輸進行優化。不過，這些主要是解決特定運算環節的元件，而非整套推論引擎。
DeepSeek 曾在 2025 年 4 月的官方文章說明，原本考慮開源完整推論引擎，但因程式碼與內部叢集管理系統高度整合、維護人力有限，決定先分享個別技術。
如今 DeepInfer 則跨出下一步，整合既有加速元件，進一步公開模型執行、平行運算、非同步排程與推測式解碼等功能。值得一提的是，DeepInfer 最初建立在開源框架 vLLM 基礎上，也參考 SGLang、TensorRT-LLM 等專案。這次開源讓開發者不只取得模型與底層元件，也能直接研究、測試 DeepSeek 的推論引擎。
單一叢集日處理 155 兆 Tokens，DeepSeek 如何提高推論效率？
DeepSeek 在官方技術文件揭露，其大規模推論系統透過不同運算階段的分工，以及快取重用，提升 GPU 處理大量請求的效率。
首先，DeepSeek 將處理輸入內容的 Prefill，與逐步生成回答的 Decode 分開部署。前者使用一般 8 顆 GPU 的伺服器，後者則採用 64～128 顆 GPU 的大型運算節點，讓兩種不同運算工作分別配置資源。
其中，Decode 採用大規模專家平行運算（Expert Parallelism），讓混合專家模型的運算分散到更多 GPU。DeepSeek 指出，這能減少每一步生成過程中的記憶體資料傳輸量，配合專家負載平衡，提高每秒生成 Tokens 的效率。官方建議的最小高效率部署配置，約需 64 顆 GPU 處理 Prefill、另 64 顆負責 Decode。
另一項關鍵是避免重複計算。AI Agent 經常反覆帶入相同指令與對話紀錄，DeepSeek 透過 KV Cache 保存已處理的上下文，讓後續請求有機會重用運算結果。
不同於只把快取留在個別伺服器，DeepSeek 將部分 KV Cache 存放於獨立的 3FS 分散式儲存叢集，讓不同 Prefill 節點都能存取相同的快取內容，也能分別擴充運算與儲存資源。
官方揭露，整體 3FS 快取系統約有 100 PiB 的 SSD 儲存容量，Agent 流量快取保留 3 天，聊天流量則為 7 天。這能減少重複運算，但也需要龐大的儲存與網路資源。透過上述設計，DeepSeek 宣稱其完整服務的單一推論叢集每天處理 155 兆 Tokens。
值得注意的是，DeepInfer 開源不代表整套系統都已公開。官方 GitHub 顯示，目前開源版本僅支援 DeepSeek-V4.1-Flash 的離線推論，適用 NVIDIA SM100 GPU 與華為 Ascend 950 NPU；完整 KV Cache 管理、Prefill／Decode 分離部署及跨節點負載平衡等功能，仍未全部釋出。
《TechTarget》報導引述 Omdia 分析師 Lian Jye Su 指出，AI Agent 推高 Token 消耗，讓企業更重視推論成本；DeepInfer 最直接的受益者，是自行部署 DeepSeek 模型的企業，因為使用其他模型的團隊，也有 NVIDIA TensorRT-LLM 等開源推論引擎可選擇。
不過，開源也有 DeepSeek 自身的市場考量。《TechTarget》另引述 J. Gold Associates 總裁暨分析師 Jack Gold 指出，DeepSeek 透過公開技術創新成果，有助塑造其在 AI 技術市場的領導者形象。
整體而言，DeepSeek 這次進一步開放了大規模推論的核心引擎，也分享支撐龐大 AI 服務的系統設計。但要重現其處理規模與效率，企業仍需自行建置快取、負載平衡及叢集管理等基礎設施，這也是取得開源推論引擎，與真正營運大規模 AI 服務之間的差距。
【推薦閱讀】
◆ 台廠也能打造自己的「CUDA 護城河」？開源基金會董事長蔡祈岩：開源如何提高硬體競爭力
＊本文開放合作夥伴轉載，資料來源：《Bloomberg》、《Techtarget》、《SiliconAngle》、GitHub，首圖來源：Unsplash