Google 看 AI 硬體下一步：運算便宜、搬資料昂貴，專用化還會加深
AI 晶片持續增加運算能力，但下一階段要解決的問題，可能不只在「算得更快」。Google AI 與基礎設施資深副總裁暨技術長 Amin Vahdat 9 月 2 日受邀來台，在 SEMICON Taiwan 2026「大師論壇暨全球生態系高峰會」發表開幕主題演講，並在會後接受媒體提問。Vahdat 這次從 TPU、記憶體、網路一路談到封裝與供電，勾勒 Google 對下一波 AI 硬體變化的判斷。
Vahdat 認為，目前正進入第二波硬體專用化。通用 CPU 的效能與功耗改善已經放緩，但 AI 算力需求仍快速增加，因此必須透過更專用的硬體持續提高效率。
AI 工作負載分流，Agent 又把 CPU 拉回來
Google 第 8 代 TPU 已進一步分成偏訓練的 8t，以及偏推論的 8i。Vahdat 在會後媒體問答補充，隨著特定工作負載需要的算力規模擴大，專用硬體能進一步提高效能與能源效率，市場規模也可能大到足以支撐開發專用晶片的投資。
他透露，Google 約兩年前便判斷，訓練與推論需求已大到值得分開最佳化，目前在其他專用化方向也看到類似的投資報酬率，預期未來還會出現更多硬體細分。
這股變化甚至可能延伸到 CPU。Vahdat 表示，Agent（代理）需要 CPU 協調大量資料移動與模型呼叫，Google 已看到昂貴的 TPU、GPU 有時必須等待 CPU 完成工作。因此，他認為未來有機會針對 Agent 運算進一步專用化 CPU，並打造更適合低延遲、高頻率通訊的系統。
運算便宜、搬資料昂貴，Google 點下一波硬體課題
除了持續專用化，Vahdat 在介紹 TPU 架構時，也把資料如何在運算單元與記憶體之間移動，列為影響效率的重要問題。
Google TPU 已沿著這個方向設計。例如 systolic array 讓資料持續在運算單元之間流動，compiler-controlled memory 則提前安排資料，讓需要的資訊在正確時間出現在正確位置，盡量減少不必要的搬移。
到了會後媒體問答，Vahdat 把這個設計問題說得更直接。他表示，在電腦架構裡「運算非常、非常便宜」，但是把資料搬到運算單元卻相當昂貴，因此重要的架構創新方向之一，就是讓資料盡可能靠近運算單元、減少移動，同時降低延遲。
Vahdat 在演講最後也把視野拉向更長期的硬體設計。他將目前形容為新一波「硬體復興」，並點出 I/O 與 die-to-die 連接、讓運算更靠近記憶體、散熱、供電，以及更深入封裝整合等方向，並認為未來還需要比 TPU、GPU 更進一步的硬體專用化。
媒體也進一步追問，這些硬體設計方向中，哪一項最可能帶來下一個重要突破？Vahdat 沒有押注單一技術，而是表示，目前還太早判斷哪條研究路線會成功，因此 Google 必須同時投入多項研究並保持耐心；未來一年該做的主要仍是「非常、非常困難的工程工作」，突破性進展可能在 2 年後，更可能落在 3 到 5 年後。
TPU 迭代越來越快，台灣更早加入共同設計
除了硬體架構持續演進，Google 推出自研晶片的節奏也正在加快。Vahdat 表示，Google 過去約 2 年推出一代 TPU，後來變成一年一代，最近一年則推出 2 款，未來頻率甚至可能再增加。
這也改變了晶片從設計走向量產的方式。過去一款晶片正式推出後，可以花兩三年逐步把產量拉高；現在 Google 希望新晶片推出後，就能盡快把供應量拉升。Vahdat 將這種需求形容為「方波（square wave）」，因此晶片測試、軟體與製造產線都必須在產品正式供應時同步準備到位。否則，即使新晶片效能更高，沒有足夠產品實際部署，也無法轉化成可用算力。
他並指出，當晶片架構與推出節奏改變，Google 與供應鏈的合作方式也必須跟著調整。當被問及台灣企業能否超越過去以製造為主的角色、在 Google AI 基礎設施扮演更大角色時，Vahdat 的回答是，這項轉變其實已經發生。他表示，Google 與台灣業者多年前便已從單純採購走向共同設計；針對未來產品世代，也正與多家合作夥伴討論架構設計、可製造性與可靠度。
Vahdat 也宣布，Google 將在台辦公空間擴大 60%，並預期在台發展還會持續成長。他表示，台灣團隊會與合作夥伴共同參與晶片導入、測試等工作，辦公空間擴大後，也將有更多資源參與 Google 全球系統架構。Vahdat 也強調，台灣的人才與合作夥伴，影響 Google 開發新技術的速度與能力。
科技的變化總是快得驚人，而我們每天的工作，就是從龐雜的趨勢中理出觀點、提煉出決策者真正需要的洞察。如果你也對 AI 發展充滿熱情，《TechOrange 科技報橘》正在徵內容編輯！
👉了解職缺內容
【推薦閱讀】
◆ AI 基建走向系統級整合，下一波效率從哪來？專訪微軟 Azure 全球基礎架構總經理
＊首圖來源：《TechOrange》拍攝。