輝達CUDA神話沒鬆動？SemiAnalysis轉讚vLLM、AMD追趕的不只是硬體
半導體研究機構 SemiAnalysis 週一（13 日）發文指出，輝達 (NVDA-US) 近期針對開源推理引擎 vLLM 的最佳化成果表現亮眼，在推理效能方面展現明顯優勢；相較之下，超微半導體 (AMD-US) 在部分模型的 vLLM 支援與最佳化程度仍有進一步提升空間。
值得注意的是，該機構兩週前才指出，輝達的「CUDA 護城河正遭緩慢侵蝕」，公司面臨的最大競爭壓力，來自愈來愈多超大規模雲端業者與 AI 模型公司轉向自研 ASIC 晶片，針對訓練或推理等特定場景打造專屬晶片架構。
分析指出，這兩則相互呼應的判斷，將 AI 晶片競爭的焦點從「誰的硬體更強」拉回一個更根本的問題，即在推理時代的規模化部署中，軟體生態的深度，可能比單一世代 GPU 的硬體領先更具決定性。
對於每天執行數十億次推理調用的 AI 企業而言，「部分模型支援良好」與「所有模型穩定優化」之間的落差，會在規模效應下被急劇放大。
vLLM 目前是大型語言模型推理領域應用最廣泛的開源引擎，SemiAnalysis 選擇以此作為評判基準，本身即傳達一項訊息，即開源推理生態正成為衡量 AI 晶片真實性能的關鍵戰場。
以千億參數等級的混合專家（MoE）模型 Kimi K2.5 為例，輝達與 AMD 的差距尤其明顯。
輝達 GB200 NVL72 透過機架級 NVLink 將 72 張 GPU 高速互聯，支援規模達 8 至 16 的寬專家並行。
此架構讓每張 GPU 承載的專家權重大幅減少，HBM 頻寬壓力隨之降低，All-to-All 通訊也能在高速 NVLink 域內完成，而非透過較慢的 InfiniBand 網路傳輸，最終使每 GPU 吞吐量可達每秒 12,000 個 token 以上。
相較之下，基於 AMD MI355X 難以實現同等規模的專家並行與機架級互聯，在同一測試中表現明顯遜色。
在軟體層面，輝達推出的 Dynamo 分散式推理框架與 vLLM 深度整合，針對 MoE 模型實現了預填充與解碼分離、高效 KV 快取傳輸及雙批次重疊等優化，能在 NVL72 上充分發揮硬體潛力。
反觀 AMD 目前仍主要依賴標準 vLLM 與 DISAGG 版本，針對超大型 MoE 模型與寬並行場景的深度優化尚未跟上。
「部分模型」措辞背後的全面性鴻溝
SemiAnalysis 將 AMD 的落後限定在「部分模型」。分析認為，這項措辞其實包含兩層訊息。
其一，AMD 並非全面落後。在通用運算場景中，其 MI 系列 GPU 已具備一定競爭力，Meta(META-US) 近期簽署的巨額採購訂單即是佐證。
其二，「部分」二字恰恰凸顯了當前差距的核心：全面性軟體生態覆蓋的缺失。
分析指出，在 AI 推理場景中，企業客戶追求的是穩定、可預期的部署體驗，維護兩套軟體堆疊以覆蓋不同模型的成本，往往是決策時的關鍵因素。
AMD 若要完成從「部分領先」到「全面可用」的跨越，所需投入的軟體工程恐怕比硬體更新更加耗時。
這不只是撰寫更多驅動程式與適配層的問題，更代表必須在數以千計的模型架構、不斷演進的開源框架，以及分散的開發者社群中，建立起廣泛的相容性與信任。
推理時代，軟體才是真正的護城河
隨著 AI 產業重心從訓練轉向推理，軟硬體的戰略價值正經歷結構性重估。
訓練任務相對集中、可控，硬體性能差距可靠資本投入彌補；推理則屬於分散式、持續性的運算，微秒級的延遲差異會在每天數十億次調用中被層層放大，直接轉化為成本結構的分化。
分析指出，輝達的軟體生態壁壘由三個層面疊加構成：
- 涵蓋約 400 萬名開發者的 CUDA 工具鏈及其二十年積累；
- 對所有主流機器學習框架的優先適配；
- 以及 cuDNN、TensorRT、NCCL 等優化函式庫所形成的深度綁定。
三者疊加產生的移轉成本，遠超任何單一硬體規格上的差距。
這項判斷也與 SemiAnalysis 兩週前的分析相互呼應。該機構當時指出，Anthropic 已形成由 Google(GOOGL-US) TPU、亞馬遜 (AMZN-US) Trainium 與輝達 GPU 共同構成的多平台算力架構。
大量 Claude 模型的訓練運行於 TPU，Claude Code 的推理則愈來愈多部署於 Trainium，顯示輝達 GPU 的市占正遭自研 ASIC 緩慢蠶食。
然而，此次針對 vLLM 性能的正面評價顯示，輝達在推理軟體堆疊上的深度優化領先幅度，並未隨著硬體競爭格局的演變而同步收窄。
更多鉅亨報導
•川普成英特爾最強後盾！白宮「強力施壓」蘋果、輝達
•大摩看好輝達！重申「增持」評級、點名四大成長引擎 看好仍有36.5%上行空間