Amazon SageMaker 導入輝達技術 加速生成式 AI 模型部署從數週縮至數小時

商傳媒｜責任編輯／綜合外電報導

AWS 今日宣布，Amazon SageMaker AI 現已支援最佳化的生成式人工智慧（AI）推論建議，此舉旨在大幅簡化並加速生成式 AI 模型投入生產的過程。這項新功能將過去需耗費數週的部署時間縮短至數小時，並有效降低推論成本，為企業導入 AI 服務提供更高效的解決方案。

部署生成式 AI 模型至生產環境，通常涉及複雜的 GPU 配置、優化技術及手動基準測試，整個過程可能長達數週。傳統上，模型開發人員需花費兩到三週時間，逐一測試不同的 GPU 實例類型、伺服器容器、平行處理策略及優化技術，以尋找最佳配置，這也需要對 GPU 基礎設施和效能優化有深厚的專業知識。

Amazon SageMaker AI 的新功能，透過提供經過驗證、內含效能指標的最佳部署配置，讓模型開發人員能更專注於模型本身的準確性，而非基礎設施的管理。用戶僅需定義其生成式 AI 模型、預期的流量模式，以及單一效能目標（優化成本、最小化延遲或最大化吞吐量），系統便會自動完成優化。

這項優化過程分為三個階段：首先，依據模型的架構、大小和記憶體需求，縮小配置範圍並測試多達三種實例類型；接著，自動應用目標導向的優化技術，例如針對吞吐量目標使用推測解碼（speculative decoding）或針對延遲目標調整運算核心；最後，所有優化後的配置將使用輝達（NVIDIA）的 AIPerf 進行基準測試，並回傳排序後的建議配置。

輝達開發關係經理 Eliuth Triana 指出，AWS 將開源的 NVIDIA Dynamo 分散式推論框架模組化元件，直接整合到 Amazon SageMaker AI 中，此舉讓企業能更具信心地部署生成式 AI 模型。Eliuth Triana 表示：「AWS 透過深度合作與技術貢獻，在推進 AIPerf 方面發揮了關鍵作用。AIPerf 的整合證明，標準化的基準測試能夠消除數週的手動測試，並為終端用戶提供經過驗證、可立即部署的配置。」

這項功能已在七個 AWS 區域推出，包含美國東部（維吉尼亞北部）、美國西部（奧勒岡）、美國東部（俄亥俄）、亞太地區（東京）、歐洲（愛爾蘭）、亞太地區（新加坡）及美因河畔法蘭克福。透過明確的性價比比較，這項服務能有效提升成本效益，加速部署時間，並透過實際 GPU 基礎設施上的量測結果，確保生產環境的可靠性。例如，一個針對吞吐量優化的 GPT-OSS-20B 模型，在相同的請求延遲下，可提供雙倍的令牌（token）服務量，有效將每個令牌的推論成本減半。