輝達CUDA生態系遇挑戰！Google、亞馬遜從軟體下手 98%模型免大幅改寫
Google自研人工智慧(AI)晶片Tensor Processing Unit (TPU)正式擴大進入外部企業的運算環境，並已在Meta Platforms (META-US)資料中心投入AI推論服務。
Alphabet (GOOGL-US)旗下Google與Meta合作開發TorchTPU，讓原本以輝達 (NVIDIA) (NVDA-US) GPU及CUDA軟體平台為主的PyTorch模型，能以更低的移植成本運行於Google TPU。另一方面，亞馬遜 (Amazon) (AMZN-US)也推出開源工具TorchNeuron，支援自家Trainium AI晶片。兩大科技業者同步從硬體與軟體切入，降低企業轉換AI晶片的難度，輝達長期建立的軟體生態系優勢正面臨新的競爭壓力。
根據《Tom's Hardware》10月22日報導，Meta已透過新版SGLang推論引擎SGLang-TorchTPU，在實際生產環境中使用Google TPU執行AI工作負載。這套系統由Google、Meta及SGLang團隊共同開發，負責SGLang技術的RadixArk也參與合作。Meta PyTorch-TPU負責人Zongwei Zhou表示，這套引擎已在Meta投入生產使用，提供相當成熟、原生支援PyTorch的服務架構。
Google也同步開源另一套支援TPU的vLLM推論引擎版本。SGLang與vLLM都是大型語言模型常用的推論工具，讓模型在完成訓練後，能夠根據使用者的提示生成文字、回答問題或執行其他AI任務。過去這些工具在Google TPU上運行時，主要依賴Google自家的JAX機器學習框架；新版本則讓TPU能更直接地支援PyTorch，大幅降低開發者為了轉換硬體而重新編寫程式的需求。
Meta PyTorch工程主管Jana van Greunen指出，Meta不能受到單一硬體架構限制，TorchTPU讓公司能將既有PyTorch工作負載部署至Google TPU。這項合作也反映Meta正積極分散AI運算硬體來源，避免過度依賴單一晶片供應商。
PyTorch是目前全球AI模型開發、訓練及推論最廣泛使用的框架之一。根據《The Elec》報導，全球約85%的AI應用程式開發者使用PyTorch。由於PyTorch早期與輝達GPU及CUDA開發平台深度整合，開發者長期累積的程式、工具與工程經驗，形成輝達的重要競爭壁壘。即使其他廠商推出性能具競爭力的AI晶片，企業仍可能因為轉換成本高、需要重新調整程式，以及缺乏成熟軟體工具而選擇繼續使用輝達產品。
Google與Meta共同開發的TorchTPU，正是為了解決這項問題。Google表示，超過98%的既有PyTorch模型，只需將程式中的裝置設定改為「model.to("tpu")」，便能在TPU上執行。依模型複雜程度不同，轉換時間約從幾分鐘到數天不等，無須全面改寫程式。Google也希望讓TPU在PyTorch核心層級成為與GPU及中央處理器(CPU)並列的運算選項。
亞馬遜則在10月20日於美國加州聖荷西舉行的PyTorch Conference 2026上，公布自家開源工具TorchNeuron，讓以PyTorch開發的AI模型直接運行於AWS的Trainium2及Trainium3晶片。開發者只需修改少數裝置設定，將原本指向輝達CUDA的設定改為AWS Neuron，即可嘗試在Trainium上執行既有模型，不必從頭重寫整套應用程式。
TorchNeuron目前已透過GitHub以公開測試版形式釋出，採用Apache 2.0開源授權。亞馬遜也將部分程式碼直接貢獻給PyTorch主開源專案，希望透過更廣泛的開發者參與，持續改善自家晶片的軟體支援。
過去，將針對輝達GPU生態系最佳化的AI應用程式移植至Google或亞馬遜的自研晶片，通常至少需要數天，複雜專案甚至可能耗時數月。TorchTPU與TorchNeuron的推出，預期可降低這些時間及人力成本，讓企業更容易比較不同晶片的運算效能、能源效率與價格，而不必因為軟體相容性問題被迫留在原有平台。
Google擴大TPU業務並非突然轉向。過去Google主要將自研TPU用於內部AI服務，或透過Google Cloud提供雲端算力租用。隨著外部客戶對AI晶片的需求上升，Google已開始將TPU供應給客戶自有資料中心。Google母公司Alphabet財務長Anat Ashkenazi今年7月曾表示，公司在第二季首次向客戶資料中心交付TPU，並開始認列少量相關訂單收入，預期2027年認列的收入將進一步增加。
Meta也早已評估Google TPU的使用方式。根據先前報導，雙方曾討論在2026年租用Google Cloud TPU，並於2027年採購晶片部署在Meta自己的資料中心，Meta之後也傳出簽署多年期租用協議。不過，目前公開資訊尚未完整揭露Meta實際部署的TPU數量、具體位置及相關採購金額。
這並非Meta首次使用Google TPU。2020年至2023年間，Meta研究團隊曾透過PyTorch/XLA橋接工具使用TPU，後來相關合約取消。Google此次推出TorchTPU，則進一步針對Meta不希望為了使用TPU而轉換至JAX框架的需求設計，試圖直接降低既有PyTorch環境的移植門檻。
在效能方面，Google TPU也開始展現競爭潛力。由vLLM創辦團隊成立的Inferact協助Google開發vLLM-TorchTPU，並測試以Google第七代Ironwood TPU執行Moonshot AI開源模型Kimi K3。該模型擁有2.8兆參數，測試使用16顆Ironwood TPU搭配推測解碼(speculative decoding)技術，單一使用者的生成速度超過每秒700個token。
作為比較，輝達GB200的公開測試配置同樣使用16顆晶片，透過vLLM執行相同模型時，生成速度為每秒452個token。不過，兩組測試的軟體設定與加速方式不完全相同，因此不能直接據此認定TPU在所有工作負載下都優於GB200。
此外，相關測試指出，針對Kimi K3及Qwen 3.8 27B模型最佳化的特定運算核心，在小批次處理情境下，即使不使用推測解碼，吞吐量仍約為GB200基準配置的1.4至2倍。這些結果顯示，TPU在特定模型與工作負載上具備競爭力，但實際表現仍會受到模型結構、批次大小、軟體最佳化及硬體配置影響。
RadixArk表示，SGLang-TorchTPU將持續增加支援模型，初期規劃納入DeepSeek V4.1 Flash及Reflection Beam，並朝2027年第一季實現新開源模型發布當天即可支援TPU的目標推進。Google、Meta與RadixArk也計畫於11月12日至13日在美國舊金山舉行的SGLang Summit 2026分享更多進展。
Google與亞馬遜的策略，核心都是削弱輝達CUDA平台帶來的軟體黏著度。輝達的競爭優勢不只來自GPU效能，也包括成熟的CUDA工具、開發者社群、程式庫及長期累積的應用支援。企業若要轉換晶片，過去往往必須承擔額外工程成本與產品部署風險；當軟體移植變得容易，客戶就更有條件依照效能、能源效率、價格及供應狀況選擇硬體。
不過，軟體工具降低轉換門檻，不代表輝達的市場地位會立即被取代。不同AI模型對硬體的需求差異很大，企業仍須逐一驗證模型相容性、實際效能、成本及穩定性。大型AI訓練工作負載也涉及大量晶片互連與整體系統設計，不能只靠程式碼修改就完全消除轉換難題。
隨著Google TPU、亞馬遜Trainium及其他自研AI加速器持續發展，AI晶片市場的競爭正從單純比較硬體規格，延伸至軟體框架、開發者體驗與整體運算成本。Meta將TPU投入生產環境，則為Google提供重要的實際應用案例。若TorchTPU與TorchNeuron能持續擴大模型支援並證明成本效益，企業採用非輝達晶片的阻力有望進一步降低，AI運算市場也可能從過去高度集中於單一生態系，逐步走向更多硬體平台並存的競爭格局。
更多鉅亨報導