【AI】TPU 時代來了？Google 對輝達 GPU 的反擊
重點整理
上週 Gemini 3 Pro 橫空出世、模型能力 霸榜 (雖然不到 1 週又被 Anthropic Opus 4.5 超過)，但因為官方號稱是完全使用張量處理器（TPU）進行訓練，甚至開始有消息說 Meta 也在洽購 TPU，Google 先前也跟 Anthropic 簽訂合約，供應最多 100 萬顆 TPU 晶片。這被視為是 Google 雲端業務在未來 10 年最大的競爭優勢，也可能影響輝達壟斷 GPU 市場版圖的轉捩點。
MM 研究員
雖 GPU/ASIC 競爭並不是零和遊戲，且這次 Gemini 3 Pro 的成功也代表Scaling Law 仍然有效，但還是值得關注一下兩者之間的競爭。以下是透過 AI 整理 TPU vs GPU 的科普入門：
TPU 的起源
- 核心目的： TPU 的誕生不是為了賣給遊戲玩家（相較於 GPU），而是為了即解決 Google 龐大的內部運算成本問題。早在 2016 年公開前，TPU 就已默默支撐 Google Maps 、 Photos 和翻譯功能。
- 危機意識： 2013 年，Google 高層（Jeff Dean 等人）計算發現，如果每位 Android 用戶每天僅使用 3 分鐘的語音搜索，Google 就需要將全球資料中心算力翻倍。
- 效率瓶頸： 當時依賴的 CPU 和 GPU 對於深度學習所需的「矩陣乘法」來說效率太低，而擴充現有硬體在財務和物流上都是場災難。因此 Google 才決定自研晶片（ASIC），專門用於跑 TensorFlow 神經網絡。
TPU vs GPU 的技術差異
GPU (通用型)： 設計初衷是圖形處理。雖然並行運算能力強，但為了處理各種通用任務（如遊戲貼圖、分支預測），硬體上有很多「包袱」，消耗了額外的能量與晶片面積。
TPU (專用型)： 移除了所有圖形處理的硬體，採用獨特的「脈動陣列（Systolic Array）」架構。優勢在於數據讀取一次後，直接在大量運算單元間傳遞，無需頻繁寫回記憶體。這解決了傳統晶片的「馮紐曼 / 記憶體瓶頸（Von Neumann bottleneck）」。
最新一代 (TPU v7 / Ironwood)：
增強了 SparseCore（針對推薦系統與 LLM）。
- 大幅提升記憶體頻寬與容量（單晶片 192GB HBM，與 Nvidia Blackwell B200 相當）。
- 使用光路交換器（OCS）連接集群，比 Nvidia 的 InfiniBand 更省電、更便宜，但靈活性較低。
效能與成本數據
雖然 Google 官方數據保密，但根據前員工與行業專家的訪談：
性價比： 根據內部人員訪談，在特定應用下，TPU 的性價比可比 GPU 高出 1.4 倍。
能源效率： TPU 更省電，產生的熱量更少。最新 v7 的每瓦效能據稱比上一代 v6e 提升 100% 。
實際案例：
有客戶表示，使用 TPU v5e Pod 的成本遠低於 8 張 Nvidia H100 。
- Google 會讓舊款 TPU 變得極其便宜（甚至形容為「幾乎免費」），適合不急迫的訓練任務，成本可降至 1/5 。
競爭態勢： SemiAnalysis 評論認為 Google 的 TPU v7 在性能上足以與 Nvidia 的 Blackwell 匹敵。
TPU 普及化的障礙
儘管 TPU 效能強大，但外部採用率仍不如 Nvidia GPU，重點原因包括：
- 生態系壁壘： Nvidia 的 CUDA 是行業標準，工程師在學校就學這個。 TPU 依賴 JAX 和 TensorFlow（雖現已支援 PyTorch，但在開發者習慣上仍有落後）。
- 多雲策略與鎖定風險： 企業通常使用多個雲端（AWS 、 Azure 、 GCP）。 Nvidia GPU 在所有雲端都可用，代碼可無痛轉移；但若針對 TPU 優化代碼，就會被 GCP 鎖定，客戶擔心未來議價能力喪失。
Google 的護城河
利潤保衛戰： 雲端運算正從高毛利（50-70%）轉向低毛利，因為 Nvidia 拿走了 AI 硬體約 75% 的毛利。
自研晶片的優勢： 擁有成熟 ASIC（如 TPU）的雲端供應商，能擺脫 Nvidia 的定價控制，重回 50% 的毛利水準。
Google 的領先地位：
Google 是目前唯一擁有「能與 Nvidia 頂級晶片匹敵」且「大規模量產」 ASIC 的公司。
- Google 掌控了前端設計（RTL），Broadcom 僅負責後端實體設計，這讓 Google 保留了更多利潤。
- Gemini 3 模型完全在 TPU 上訓練，證明了其不僅能做推論，也能處理最頂級的訓練任務。
更多 AI 相關圖組，可參考 產業決策平台 - AI 專區