拒當輝達打工仔！Google 佈局十年的秘密武器 TPU，如何靠「只做一件事」稱霸 AI 戰場？

這幾年，好像全世界都在搶輝達（NVIDIA）的圖形處理器（GPU）。微軟（Microsoft）、Meta、亞馬遜（Amazon），這些手握千億美元的科技巨頭，得排隊等黃仁勳點頭才能拿到 H100 晶片。

配貨權、價格都在輝達手上。這場 AI 軍備競賽裡，誰能拿到更多算力，誰就能訓練出更強的模型。

但有一家公司早在 2015 年，就布局晶片自主，在自家資料中心部署一款從未對外販售的晶片，代號 TPU（Tensor Processing Unit，張量處理單元）。它不像輝達的 GPU 那樣萬能，不能用來挖礦，也不能渲染遊戲畫面。TPU 只會做一件事：跑神經網路（編按：生成式AI訓練大型語言模型所需要用到的基礎理論）。

但就是這個「只會一件事」的晶片，讓 Google 在 2016 年用它的算力支撐 AI 模型 AlphaGo，擊敗韓國職業棋手李世乭；也讓 Google 在 10 年後的今天，成為唯一一家不用完全看輝達臉色的雲端巨頭。

一個只會做一件事的晶片，砍掉多餘運算能力

2013年，Google的工程師團隊算出一個數字。

如果每個安卓（Android）用戶每天使用 3 分鐘的語音搜尋，以當時的運算架構（CPU 加上少量 GPU），Google 必須將全球的資料中心數量翻倍，才有辦法支撐使用者的用量。

而資本支出如果這樣擴張，實在不符合經濟效益。更何況這還只是語音搜尋，如果再加上圖片辨識、影片推薦、即時翻譯，這個數字會繼續膨脹。

當時的選擇是，要就放棄這些功能的普及化，要就找到一個更便宜、更高效的解決方案，Google 選擇了後者。

CPU 什麼都能算，但速度不夠快。而 GPU 原本是為了畫面渲染設計的，後來發現它的平行運算能力也適合跑AI，但它保留了很多圖形處理的電路，對 Google 來說是浪費。

TPU 應運而生，設計哲學是不做通用運算，只做矩陣乘法。TPU 則是徹底的ASIC（特殊應用積體電路），把所有不需要的功能都拿掉，晶片面積全部用來做矩陣運算。

結果是效率的差異。TPU v1 的效能功耗比是當時 CPU和 GPU 的 30 到 80 倍。意思是同樣的電力，Google 能處理幾十倍的運算量。

Google的資料處理狂燒算力，自己做比買現成划算

但如果只是「比較好用」，Google 不會堅持自己做晶片，真正的原因藏在 2 筆帳當中。

先論技術推進，AI 分為訓練和推論兩大類別，才能構成更強的能力。訓練是高強度、低頻率的工作，通常在模型升級或推出新版本時進行，可能耗費數周甚至數月，決定模型能力的上限。

推論（Inference，也就是讓已經訓練好的 AI 模型回答問題）則是 7×24 小時、每秒數百萬次的持續需求。每一次 Google 搜尋、YouTube 推薦、Google 相簿的圖片辨識，都是推論。真正讓 AI 能被大規模使用、形成商業價值的，往往不是訓練，而是推論能否在成本與效能間取得平衡。

根據 Google 內部數據，Google 的流量中推論佔比超過 90%。而 TPU v1 就是專為推論設計的。Google 翻譯每天處理 10 億次請求，YouTube 推薦系統服務 20 億用戶，Google 相簿每月分析 280 億張圖片。這些都跑在 TPU 上。

對於推論場景，GPU 其實是「過度配備」的。因為輝達早期主攻遊戲玩家，GPU 保留大量用於圖形渲染和科學計算的電路，這些在跑神經網路時用不到。TPU則是它砍掉所有不需要的功能，把晶片面積和電力預算全部投注在矩陣運算上。

這是TPU存在的第一個理由，在Google最需要的場景裡，它比GPU便宜、省電、更適合大規模部署。

不想再繳輝達稅，擺脫市場遊戲規則

再者，是成本帳。2023 年之後，自研晶片成了科技巨頭的標準配備。微軟推出 Maia、亞馬遜發表 Trainium、Meta 開發 MTIA。推敲背後原因，大家都在做同一件事：擺脫對輝達的依賴。

輝達 GPU 的毛利率超過 75%，例如外媒推估，一顆 B200 的製造成本大約是 5700 到 7300 美元，市場售價卻是 3 到 4 萬美元，中間的差距就是所謂的「輝達稅」。

這不是輝達會對企業徵稅的意思，而是當每個想要發展AI的企業，都繞不過輝達，那對企業而言，是某部分的咽喉，被供應鏈給掐住了。

對一般企業來說，這是能接受的成本，因為輝達提供了完整的軟體生態（CUDA）和技術支援。但對 Google 這種需要部署數十萬顆晶片的公司，每一顆晶片的溢價，都會累積成天文數字。

因此，Google 選擇建立自己的供應鏈體系。它把 ASIC 設計交給博通（Broadcom）和聯發科，晶圓代工與先進封裝交給台積電和 Amkor，模組組裝交給系統整合商，再加上 PCB 板材、光模組、散熱系統等數十家供應商。這個龐大的供應鏈網絡，讓 Google 能繞過輝達的品牌溢價，直接掌控從設計到製造的每個環節。

打造晶片生態系，榨乾TPU效能

但這盤生意不只要自家做，Google認知到，如果AI真的要成為所有服務的基礎，那麼整個運算堆疊，從晶片、編譯器、網路架構到資料中心，都必須為AI重新設計。

Google 不只設計晶片，還開發了專門的編譯器 XLA（用來把AI模型翻譯成TPU能理解的指令）、發明了 JAX 框架（讓研究人員能榨乾TPU的效能）、甚至重新設計了資料中心的網路架構，他們用光學電路交換（OCS）取代傳統的電氣交換機，讓數千顆 TPU 能像一台超級電腦那樣協同工作。

且 TPU 不對外販售硬體，只透過 Google Cloud 提供服務。用 TPU 的客戶只能用 Google Cloud，而用 Google Cloud 的客戶更可能選擇 Google 的模型。

Google 沒有完全不用輝達的產品，因為雲端客戶仍然習慣用 CUDA（輝達推出的計算平台）生態。但在內部核心業務上，Google 已經盡可能轉向 TPU。即便所費不貲，Google 仍然堅持投資 TPU。因為如果不這麼做，這些成本會更高。

這就是為什麼雲端巨頭都開始自研晶片，因為他們都在算同一筆帳，誰能掌握算力的成本和供應，誰就能在 AI 時代站穩腳跟。只是相對其他科技巨頭，Google 已經率先把這場競賽的距離拉得更遠了。

參考資料：Google Cloud(1)(2)(3)、OrhanErgun、TrendForce、Tom's Hardware、wevolver、Lambda、MBI
核稿編輯：陳書榕

延伸閱讀

Google 憑 Gemini 3 王者歸來：蟄伏3年，皮蔡砍主管、鎖人才，根治「大企業病」的減法管理學
皮蔡領導學：有如深海潛水，離開了水面的雜訊後，留意真正的訊號
加入《經理人》LINE好友，每天學習商管新知