AMD 實現處理器效能提升 30 倍，較預定時間提早一年
外媒報導，早在 2021 年，AMD 就設定 2025 年目標，EPYC 系列伺服器處理器和 Instinct 系列 AI 晶片能效較 2020 年提高 30 倍，MI300X AI 晶片基本上實現目標，時間還提早一年。
外媒 Tom′s Hardware 報導，AMD 兩個 64 核心 EPYC 9575F CPU、八個 Instinct MI300X AI 晶片及 2,304 GB DDR5 記憶體的伺服器，Llama3.1-70B（vLLM 0.6.1.post2、TP8）測試推理性能，用一組複雜計算確定系統能源效率，並與 2020 年未公開機器比較，新機能源效率是舊機 28.3 倍。
雖然 AMD 未透露 2020 年舊機規格，但可想像應是 EPYC 7002 系列，Zen 2 架構，每個 CPU 最多 64 個核心，以及 CDNA 1 架構 Instinct MI100 AI 晶片。AMD Instinct MI100 不支援 FP8，但如果比較 184.6TOPS 算力的 MI100 和 2,615TOPS / 5,230TOP 算力 MI300X 在 INT8 的性能，用 FP16 可觀察到大致相同的差異。
然而，考慮到更好記憶體子系統（32GB HBM2，1.20GB/s 與 192GB HBM3，5.30GB/s）和更佳 CPU 時，AMD 現有機器的速度和效能顯著提高也不足為奇。AMD 表示，除了強力硬體改進，更高性能效率是架構進步，加上軟體最佳化結合，是跳躍式進展。
最近 AMD 推出 CDNA 3 架構 Instinct MI325X AI 晶片，有 288 GB HBM3E 記憶體子系統，2025 年推出 Instinct MI355X AI 晶片，CDNA 4 架構，與 MI325X 相比，FP8 和 FP16 運算效能提升約 80%。MI325X 還支援 AI 的 FP4 和 FP6 格式，峰值性能可提高到 9.2PetaFLOPS，對許多大型語言模型來說非常有用，AMD 預估 2025 年前將運算平台能源效率較 2020 年提高 30 倍。
(首圖來源：AMD)
留言 1