NVIDIA B200 登場！Supermicro AI 伺服器效能狂飆 3 倍，測試資料公開
Supermicro 近期發表最新 AI 伺服器，搭載 NVIDIA HGX B200 8-GPU，在 MLPerf Inference v5.0 測試中展現壓倒性優勢，效能比前一代 H200 提升 3 倍以上。
這些伺服器包含 4U 液冷與 10U 風冷 版本，並已正式投入運作，測試結果顯示無論是大型 AI 模型推理（Inference）或生成式 AI 任務，B200 系統均大幅領先上一代產品。
MLPerf 測試數據公開，B200 效能全面領跑
根據 MLPerf Inference v5.0 的測試結果，Supermicro 的 B200 伺服器展現以下優勢：
- Llama3.1-405B（離線測試）：每秒 1521.74 個 Token
- Llama3.1-405B（伺服器測試）：每秒 1080.31 個 Token
- Llama2-70B（互動模式）：每秒 62,265.70 個 Token
- Stable Diffusion XL（影像生成）：每秒 28.92 個查詢
- Mixtral 8x7B（伺服器模式）：每秒 129,047 個 Token
- Mixtral 8x7B（離線模式）：每秒 128,795 個 Token
這些數據顯示，B200 不僅在語言模型（Llama、Mixtral）推理效能大幅提升，連影像生成（Stable Diffusion XL）也有強大表現。
風冷 vs 液冷，哪種散熱方案更強？
Supermicro 這次推出 風冷與液冷兩種版本 的 B200 伺服器，並在測試中顯示：
- 風冷版 B200 在效能表現上與液冷版幾乎相同，且更容易部署。
- 液冷版 B200 採用全新 250kW 冷卻液分配裝置（CDU），散熱能力比上一代提升 2 倍以上。
機架設計方面，Supermicro 提供 42U、48U、52U 三種機架方案，最多可容納 96 顆 NVIDIA Blackwell GPU，進一步提高 AI 訓練與推理密度。
B200 真的值得升級嗎？
根據測試數據，Supermicro B200 伺服器適合 大型 AI 訓練、推理以及高效能運算（HPC），相較前代 H200，具備：
- 推理效能提升 15 倍
- 訓練效能提升 3 倍
- 大幅降低功耗與散熱需求
對於企業 AI 部署來說，這款系統能有效提升運算效能，同時降低基礎設施成本。
Supermicro 持續 AI 伺服器市場
Supermicro 目前提供超過 100 款 GPU 優化伺服器，涵蓋從單插槽系統到 8 路多處理器系統，支援 風冷與液冷 方案。
這次 MLPerf Inference v5.0 測試證明，Supermicro B200 伺服器已經成為市場上最強 AI 運算平台之一，無論是 AI 研究機構、大型企業還是雲端數據中心，都能透過這款新系統獲得前所未有的效能優勢。
▶ 延伸閱讀
圖片及資料來源：美通社、Supermicro