GPU再強也怕塞車！輝達Spectrum-6成AI工廠新王牌
Newtalk新聞
人工智慧（AI）已邁入百萬瓩級時代。全球最先進的 AI 工廠正整合數十萬個 GPU 與 CPU，用於訓練前沿模型、驅動代理型 AI，並以前所未有的規模生成智慧。在此規模下，網路成為提升運算能力的關鍵倍增器，進一步加速詞元生成。
以下是輝達發布最新動向完整內容：
NVIDIA Spectrum-6 寫下網路技術的重要里程碑。這套專為 NVIDIA Vera Rubin 平台打造的乙太網路交換器系統，每秒傳輸速率達 102.4 Tb，容量為前一代系統的 2 倍，目前正陸續部署於全球各地的百萬瓩級 AI 工廠。
Spectrum-6 是NVIDIA Spectrum-X 乙太網路平台下一代產品的核心，提供將 AI 工廠作為單一端到端運算系統運作所需的頻寬、擴展能力與智慧化網路功能。
領先 AI 建置商率先採用
全球領先的 AI 基礎設施建置商，包括 CoreWeave、微軟、Nebius、SpaceXAI 與 Tesla，將成為首批導入 Spectrum-6、加速 AI 工廠的企業。
對雲端服務供應商而言，Spectrum-6 意味著更多運算能力能作為統一且高效能的資源運作，協助客戶更快訓練模型並部署推論服務。
CoreWeave 網路產品總監 Min Jun 表示：「CoreWeave 專為最嚴苛的 AI 工作負載打造，而網路是能否在大規模環境下實現此等效能的關鍵。將 NVIDIA Spectrum-6 與液冷式 Spectrum-X 乙太網路基礎設施導入我們的 AI 工廠，將有助於提供客戶訓練前沿模型及加速部署推論所需的頻寬、韌性與效率。」
Nebius 全球合作夥伴關係副總裁 Laurelle Roseman 表示：「在百萬瓩級規模下，效能取決於協同運作，也就是讓每個 GPU 保持同步，避免單一緩慢連線拖慢整項工作。NVIDIA Spectrum-6 正是為解決這項挑戰而打造，這也是我們率先導入的原因。即使客戶最嚴苛的工作負載持續擴展，這套網路架構仍能維持高速與高韌性。」
對自行建置基礎設施的 AI 先驅而言，Spectrum-6 能讓更多 GPU 同步運作，在高負載的集體運算期間提升使用率，並為長時間執行的工作提供更高韌性。
無論應用情境為何，都能在超大規模環境下更快取得成果，並創造更佳的經濟效益。
CoreWeave、微軟與 Nebius 將成為首批部署搭載 Spectrum-6 的 NVIDIA Vera Rubin 基礎設施供應商，讓更多開發者、新創公司與企業能夠使用此平台。
AI 效能的關鍵在於網路
單憑 GPU 峰值效能，已無法反映 AI 工廠的整體效能。大規模訓練與推論工作負載，仰賴數千個加速器持續交換資料。集體通訊是協調各 GPU 同步運作的基本操作，會產生大量東西向流量，且通常有多個系統同時傳輸資料。
乙太網路最初主要針對企業應用，以及使用者、伺服器與儲存系統之間的南北向流量而設計，並非為百萬瓩級 AI 所需的同步與集體通訊密集型傳輸模式打造。
Spectrum-X 乙太網路改變了這項局面。Spectrum-X 專為 AI 打造，將乙太網路轉化為高效能橫向擴展網路架構，確保每個 GPU 都能持續取得所需資料。
新一代 Spectrum-X 乙太網路
Spectrum-6 交換器晶片與 NVIDIA ConnectX-9 SuperNIC 結合，構成新一代 Spectrum-X 乙太網路，並納入 NVIDIA Vera Rubin 平台的整體設計。NVIDIA Vera Rubin 整合 NVIDIA Vera CPU、Rubin GPU、NVLink 6 Switch、ConnectX-9 SuperNIC、BlueField-4 DPU 與 Spectrum-6 乙太網路交換器。
Spectrum-6 同時支援可插拔式光學元件與共同封裝光學元件。此外，Spectrum-6 產品亦支援液冷，為整座 AI 工廠提供完整的端到端冷卻方案，同時提升網路能源效率。
不同於通用型乙太網路，專為 AI 工廠橫向擴展打造的 NVIDIA Spectrum-X 乙太網路平台，整合智慧交換器、NVIDIA ConnectX-9 SuperNIC 與全端網路軟體，所有元件皆針對 AI 設計。平台的先進功能會持續最佳化網路架構中的流量傳輸方式。
此外，NVIDIA Spectrum-X 技術可在可用路徑之間智慧平衡流量、迅速繞過故障，並在網路傳輸資料未能抵達目的地時精準復原。平台亦支援開放式網路作業系統，並提供多種 RDMA 傳輸模型選擇，讓 AI 建構者在不犧牲效能的情況下保有彈性。
Spectrum-X 乙太網路體現 NVIDIA 垂直整合、水平開放的策略，也就是在完整運算平台中共同設計晶片、系統與軟體，同時支援標準乙太網路、開放式網路作業系統、開放協定，以及由雲端服務供應商、系統製造商與基礎設施合作夥伴組成的廣大生態系。客戶無需自行組裝各項元件，再於事後進行最佳化，即可採用完整的 AI 工廠平台，縮短模型訓練時間並降低每詞元成本。
Spectrum-X 乙太網路展現了這項設計方法的成效，其 AI 網路效能最高可達通用型乙太網路的 1.6 倍，並能在超過 10 萬個 GPU 的部署環境中，維持最高 95% 的網路效率。
由硬體加速的 Spectrum-X 多平面拓樸，可將資料中心所需的交換器數量減少 1.7 倍，進一步提升網路效率。結合 Spectrum-X 乙太網路光子技術所帶來的效益，包括 5 倍更高的能效，以及平均故障間隔時間改善 10 倍，網路架構的強化，持續帶來工作負載加速，超越單一元件層級的最佳化。