輝達：DeepSeek-R1是最先進推理開放模型　可在NVIDIA NIM使用

輝達官網於美東時間30日指出，DeepSeek-R1是一個具有最先進推理能力的開放模型，且DeepSeek R1 671b已作為英偉達NIM微服務預覽版在build.nvidia.com上發布。DeepSeek R1 NIM微服務在單一輝達HGX H200系統上每秒最多可處理3872個token。開發人員可以對API進行測試和實驗，預計該API不久將作為輝達AI Enterprise軟體平台的一部分，以可下載的NIM微服務形式推出。

輝達官網指出，DeepSeek-R1等推理模型不會提供直接回應，而是對查詢進行多次推理，採用思路鏈、共識和搜尋方法來產生最佳答案。執行這一系列推理過程（使用推理得出最佳答案）稱為測驗時間擴展。 DeepSeek-R1是此擴展定律的完美範例，證明了加速計算對於代理AI推理的需求至關重要。

由於模型可以反覆思考問題，因此它們會創建更多輸出標記和更長的生成週期，模型品質會不斷提高。大量的測試時計算對於實現即時推理和來自DeepSeek-R1等推理模型的更高品質反應至關重要，這需要更大規模的推理部署。R1在需要邏輯推理、推理、數學、編碼和語言理解的任務中提供了領先的準確性，同時也提供了高推理效率。

輝達續稱，為了幫助開發人員安全地試驗這些功能並建立自己的專用代理，6710億參數的DeepSeek-R1模型現已作為NVIDIA NIM微服務預覽版在build.nvidia.com上提供。DeepSeek-R1 NIM微服務可在單一NVIDIA HGX H200系統上每秒提供多達3872個代幣。

開發人員可以使用應用程式介面（API）進行測試和試驗，預計很快就會作為可下載的NIM微服務提供，是NVIDIA AI Enterprise軟體平台的一部分。

DeepSeek-R1 NIM微服務透過支援產業標準API簡化了部署。企業可以透過在其首選的加速運算基礎架構上運行NIM微服務來最大限度地提高安全性和資料隱私。透過使用NVIDIA AI Foundry和NVIDIA NeMo軟體，企業還可以為專門的AI代理程式創建客製化的DeepSeek-R1 NIM微服務。

延伸閱讀

• 包紅包還被嫌「怎麼6千而已」　叔叔一招反制他瞬間大哭反悔
• 爸看孫驚覺「沒客房可住」發火！怒噴：糟糕女主人　連姊也不挺⋯她傻了