【輝達GTC大會1】輝達推新一代平台Blackwell Ultra 為AI推理時代奠定基礎
輝達發表新一代的AI平台NVIDIA Blackwell Ultra，為 AI 推理時代奠定基礎。輝達執行長黃仁勳表示，推理和代理型的AI比現在高出數個量級的運算效能，新的平台將可高效執行預訓練、後期訓練和推理AI推論。
輝達今天發表新一代的 NVIDIA Blackwell 人工智慧（AI）工廠平台 NVIDIA Blackwell Ultra，為 AI 推理時代奠定基礎。NVIDIA Blackwell Ultra 強化訓練與測試階段的推論擴展能力，這項技術在推論過程投入更多的運算資源，提高準確度，讓世界各地的組織都能加速應用 AI 推理、代理型 AI，以及實體 AI。
Blackwell Ultra 以一年前推出的劃時代 Blackwell 架構為建置基礎，包含 NVIDIA GB300 NVL72 機架規模解決方案與 NVIDIA HGX™ B300 NVL16 系統。GB300 NVL72 的 AI 效能比 NVIDIA GB200NVL72 提升 1.5 倍，並且相比基於 NVIDIA Hopper的 AI 工廠，將 Blackwell 在 AI 工廠市場的營收機會提升 50 倍。
NVIDIA 創辦人暨執行長黃仁勳表示：「AI發展突飛猛進，推理和代理型AI需要比當前高出數個量級的運算效能。Blackwell Ultra 就是為了這個時刻所設計。這個多功能的單一平台，可輕鬆高效執行預訓練、後期訓練與推理AI推論。」
NVIDIA GB300 NVL72 採用機架規模設計，連接 72 顆 Blackwell Ultra GPU 與 36顆 Arm Neoverse 架構 NVIDIA Grace CPU，是專為測試階段擴展打造的單一大型 GPU。有了 NVIDIA GB300 NVL72，AI模型便可利用平台更強大的運算能力，探索問題的各種解決方案，並將複雜的請求分解為多個步驟，締造更高品質的回應內容。
NVIDIA DGX™ Cloud 預計也會提供 GB300 NVL72。這個位於主要雲端上的端對端全託管 AI 平台，利用軟體、服務和 AI 專業，因應不斷演變的工作負載將效能最佳化。採用 DGX GB300 系統的 NVIDIA DGX SuperPOD™ 使用 GB300 NVL72 機架設計，提供客戶一站式 AI 工廠。
相較於 Hopper 世代，NVIDIA HGX B300 NVL16 在大型語言模型上的推論速度提升11倍、運算能力提升 7 倍、記憶體容量增加 4 倍，可為AI推理這類複雜的工作負載，提供更好的效能。
更多鏡週刊報導