告別超大園區迷思！新興雲端掀「邊緣化」變革 SambaNova晶片成低延遲推理關鍵
生成式人工智慧（AI）發展正邁入全新分水嶺。過去兩年間，CoreWeave、Nebius 等新興雲端服務商（Neocloud）靠著大舉搜刮輝達（Nvidia）高階 GPU，在遠郊興建數百 MW 的巨型資料中心一戰成名。然而，隨著產業焦點由「模型訓練」轉向講求即時反應的「代理人 AI（Agentic AI）」，AI 資料中心正迎來全新一波結構轉型——朝向區域化、中小型化與極致低延遲的邊緣架構挺進。
這場基礎架構革命的領航者，是由美國頂級私募基金 Vista Equity Partners 與創投 Cambium Capital 聯手催生的新創算力商 Vector Core Compute（VC2）。VC2 宣佈在三年內斥資 35 億美元，全面導入 AI 晶片獨角獸 SambaNova 的運算架構。與市場盲目追逐吉瓦（GW）級超級園區的作法截然不同，VC2 聚焦於美國 50 個主要都會區，建設僅 5 至 20MW 的中小型邊緣資料中心，將算力直接推至企業與終端使用者的「家門口」。
推動資料中心走向微型區域化的關鍵，在於 Agentic AI 的運算特性。代理人系統需要自主拆解任務、多輪反覆推理並即時調用工具，若將數據傳往偏遠的超大規模算力中心，網路往返延遲將毀掉即時互動體驗。此外，都會周邊電網難以負荷巨型算力怪獸，但 5 到 20MW 的中小型站點不僅容易取得電力與現成物業改建，建設週期更短，更能規避「大型專案規模經濟失靈」的財務陷阱。
在這套全新邊緣雲架構中，SambaNova 自研的「可重構資料流單元（RDU）」晶片扮演了核心樞紐角色。當前大語言模型推理分為「Prompt 預填（Prefill）」與「Token 生成（Decode）」兩階段。在 VC2 的異質運算叢集中，預填工作交由擅長高度並行的 Nvidia Blackwell GPU 處理，而關鍵的生成解碼重任則由 SambaNova RDU（目前為 SN40，隨後升級至次世代 SN50）全權接管。
SambaNova 的 RDU 架構具備獨特的資料流管線與多層級記憶體設計，大幅突破了傳統 GPU 逐字解碼時頻繁存取記憶體的頻寬瓶頸（Memory Wall）。其解碼速度大幅超越傳統晶片，能將當前業界每秒 60 至 150 字（Tokens/s）的產出標準，推升至每秒 400 字以上的高速境界。此外，SambaNova 系統具備輕量與風冷散熱特性，能直接安裝於現有都會區既有建物，無需耗費巨資改造水冷管線。
從超大集中走向區域邊緣，AI 算力正由「少數超級電廠」轉變為遍佈各大城市的「分布式配電網」。隨著 VC2 於洛杉磯的首座資料中心正式商轉，並加速進軍芝加哥、西雅圖等地，這波以低延遲邊緣網路為核心、由 SambaNova 等專用推理晶片驅動的新興雲端革命，正重新改寫全球 AI 基礎設施的競爭版圖。