Google攜手NVIDIA推A5X裸機 AI算力Scale Out上看96萬顆GPU
Alphabet(GOOGL-US)旗下Google Cloud攜手NVIDIA，推出新一代A5X裸機解決方案（Google Cloud賣給客戶的GPU算力方案），主打超大規模AI運算能力。該平台採用NVIDIA最新Vera Rubin架構，並結合Google自家的Virgo網路，在單一資料中心最多可串聯約13萬顆GPU，若跨多地點部署，整體規模更可擴大至960,000顆GPU。
A5X裸機與Virgo網路的核心設計目的之一，就是支援AI算力的scale out，也就是將大量GPU跨機櫃、跨資料中心甚至跨地點串聯成單一大型叢集，以滿足大型模型訓練與推論對高擴展性、高頻寬與低延遲的需求。
技術架構方面，Virgo Network結合高頻寬、低延遲設計，搭配ConnectX-9 SuperNIC，能有效支撐大規模GPU之間的高速資料傳輸，成為AI超級電腦運作的關鍵骨幹。此類架構也被市場視為推動AI資料中心升級的重要方向。
效能表現上，新一代系統在推論（inference）效率方面明顯提升。官方指出，相較前一代產品，每個token的推論成本可降低達10倍，同時每兆瓦（megawatt）所能處理的token吞吐量提升超過10倍，顯示在能耗與運算效率之間取得顯著優化。
此外，Google Cloud亦同步擴展其NVIDIA Blackwell平台產品組合，提供多種虛擬機（VM）配置，滿足不同AI工作負載需求。值得注意的是，OpenAI目前已在NVIDIA系統上進行大規模推論運算，應用場景涵蓋ChatGPT等生成式AI服務。