MLPerf 基準測試結果公布，Nvidia 稱霸 AI 推理大賽
今年稍早發表訓練（Training）基準測試分數之後，MLPerf 日前發表推理（Inference）基準測試的第一組得分結果。
與目前有 5 家公司所參加共 63 項 MLPerf 基準測試項目的訓練回合相比，有更多公司提交結果。共有 14 個組織 500 多個分數得到驗證。包括幾家新創公司的數字，然而一些知名的新創公司顯然沒有參加。
支援可讓系統直接對決之嚴格條件的封閉專區（Closed Division），結果顯示效能有 5 個等級差異，並在預估功耗方面跨越 3 個等級。在開放專區（Open Division），廠商提交可使用一系列模型，包括低精準度的實作。
Nvidia 宣稱取得封閉專區所有商用元件類別第一名。資料中心類別的其他領導廠商包括 Habana Labs、Google 和英特爾（Intel），而 Nvidia 則在邊緣類別與 Intel 及高通（Qualcomm）一較高下。
「Nvidia 是唯一一家擁有量產矽晶、軟體、可程式性及人才，同時發表所有類型 MLPerf 基準測試成績，並贏得幾乎所有測試類別的公司，」市場研究公司 Moor Insights and Strategy 分析師 Karl Freund 指出：「GPU 的可程式性為將來的 MLPerf 版本提供了獨特的定位……我認為這在在展露了 Nvidia 實力的廣度，以及挑戰者的利基本質。但隨著時間推移，許多競爭對手將逐漸成熟，因此 Nvidia 需要在硬體和軟體方面持續創新。」
Nvidia 公布顯示測試結果判定的圖表，針對商用元件的所有 4 個封閉專區測試情境皆名列第一。
這些情境代表不同的使用案例。例如針對資料中心推理的離線和伺服器情境。離線情境表示要對大量照片進行離線相片標記作業，並測量純資料傳輸總量。伺服器情境表示來自不同使用者的多個請求，在不可預測的時間提交請求，並在固定時間內測量資料傳輸總量的使用案例。邊緣情境包括單一串流與多串流，前者會對像是行動手機 App 的單一影像進行推理計時，後者則會測量多攝影機系統有多少串流影像能同步推論。
參賽公司可提交所選機器學習模型的結果，這些模型在四個情境分別執行圖像分類、物件檢測和語言轉譯。
Nvidia 在伺服器和離線類別所有 5 個基準測試拿下第一
「從資料中心的結果來看，Nvidia 在伺服器和離線類別的所有 5 個基準測試皆拔得頭籌，」Nvidia 加速運算產品管理總監 Paresh Kharya 表示：「我們的圖靈 GPU 在商用解決方案方面遠勝其他公司。」
Kharya 特別強調，亦即 Nvidia 是唯一一家提交資料中心類別所有 5 個基準測試模型結果的公司，而在伺服器類別（這是更困難的情境），Nvidia 的效能表現皆高出競爭對手甚多。
資料中心領域最接近 Nvidia 表現的競爭對手是以色列新創公司 Habana Labs，擁有 Goya 推理晶片。
「Habana 是唯一全面投產高效能矽晶的挑戰者，有望支援功耗資料的下一版 MLPerf 套件應會有更好表現。」分析師 Karl Freund 表示。
Habana Labs 指出，基準測試分數純粹基於效能，功耗並非測量標的，不包含實用性（比如考慮某個解決方案是採無風扇冷卻還是水冷式設計），也不包含成本。
Habana 並透過開放專區來展現低延遲能力，延遲的限制比封閉專區更嚴格，並提交多串流情境的結果。
在邊緣基準測試，Nvidia 拿下商用解決方案之封閉專區所有四個類別的冠軍頭銜。高通 Snapdragon 855 系統單晶片與 Intel Xeon CPU 則在單一串流類別緊跟其後，然而高通和 Intel 都沒有提交更困難的多串流情境測試結果。
另外 MLPerf 發表許多「預覽版」系統（即未正式上市的系統）測試結果，包括專門針對 Intel’s Nervana NNP-I 的阿里巴巴旗下「平頭哥」公司「含光」（Hanguang）晶片、以色列新創公司 Halio 的 Hailo-8，以及 Centaur Technologies 的參考設計。與此同時，研發類的主要參賽廠商是一家鮮為人知的南韓新創公司 Furiosa AI。
（首圖來源：Nvidia）