NVIDIA 攜 Google Cloud，帶給企業代理型 AI 推理功能
NVIDIA 與 Google Cloud 合作，運用 Blackwell HGX and DGX 平台及 NVIDIA 機密運算（NVIDIA Confidential Computing）技術保護資料安全，並將代理型 AI（agentic AI）帶給尋求在地端使用 Google Gemini 系列 AI 模型的企業。
透過搭載 Blackwell 平台的 Google 分散式雲端（Google Distributed Cloud，GDC），企業的地端資料中心可以鎖定存取病患紀錄、金融交易和政府機密資訊等機敏資訊的權限，以符合法規要求和資料主權法令。NVIDIA 機密運算技術還能保護 Gemini 模型中的敏感程式碼，避免未經授權的存取與資料外洩。
Google Cloud 基礎設施與解決方案部門副總裁暨總經理 Sachin Gupta 表示，藉由將 Gemini 模型與 NVIDIA Blackwell 的突破性效能及機密運算能力相結合，讓企業能夠充分發揮代理型 AI 的潛力。這項合作有助於確保客戶能夠在不影響效能或操作便利性的情況下，安全地進行創新。
NVIDIA Blackwell 的機密運算技術能為企業提供技術保障，包括 Gemini 模型應用程式介面的使用者提示及用於微調的資料，都能保持安全，無法被檢視或修改。與此同時，模型所有者可以防止未經授權的存取或竄改，提供雙重保護，讓企業能夠在維護資料隱私的同時，利用 Gemini 模型進行創新。
有別於根據學習到的知識來感知或生成內容的 AI 模型，代理型 AI 系統可以在動態環境中進行推理、適應與決策。例如在企業 IT 支援方面，以知識為基礎的 AI 模型可以檢索與提供故障排除指南，而代理型 AI 系統則能夠自主診斷問題、執行修復，以及將複雜的問題呈報到更高層級進行處理。
同樣地，在金融領域，傳統的 AI 模型可以根據既有模式標示潛在的詐欺交易活動，代理型 AI 系統則能更進一步調查異常情況，並主動採取行動，例如在交易發生前即進行封鎖，或是即時調整詐欺偵測規則。
Google Cloud 也宣布推出全新的 GKE Inference Gateway，藉由先進的路由和擴充性來最佳化部署 AI 推論工作負載的部署。透過與 NVIDIA Triton 推論伺服器及 NVIDIA NeMo Guardrails整合，GKE Inference Gateway 可提供智慧型負載平衡，以提升效能與降低服務成本，同時實現模型安全與治理活動的集中化控管。
展望未來，Google Cloud 正致力於整合專為跨 AI 工廠服務與擴充推理 AI 模型而打造的開源函式庫 NVIDIA Dynamo，以提高代理型 AI 工作負載的可觀察性。
（首圖來源：NVIDIA）