NVIDIA Metropolis推出全新開發者函式庫 加速打造由NVIDIA Cosmos驅動的視覺AI代理
隨著企業在真實世界中蒐集的影片資料日益增加,視覺AI正從被動感知與儀表板,進化為可即時理解、推理及採取行動的代理型系統。這些系統由具備推理能力的視覺語言模型(VLM)驅動,如NVIDIA Cosmos開放模型,能從影片中擷取豐富洞察,涵蓋營運狀況、環境脈絡或問題根本原因。
加速視覺AI代理開發流程
為了打造可投入生產且具高準確度的視覺AI代理,從資料蒐集、模型訓練、驗證到部署,過去往往需要數千小時的開發時間。NVIDIA Metropolis整合超過80項全新技能,包括NVIDIA VSS Blueprint 3.2、NVIDIA DeepStream 9.1、NVIDIA TAO 7與Physical AI Data Factory,協助開發者運用程式設計代理,將整體開發流程加速至少6倍。
目前,包括Asilla、AWL、富士通、Hitachi、歐姆龍、清水建設與Yazaki North America等工業與智慧空間領域的領導企業,皆正運用NVIDIA Metropolis將視覺AI代理導入工廠、建築工地、街道、建築物及公共空間。
Metropolis開放式函式庫與技能
NVIDIA Metropolis提供一套完整的開放式函式庫與技能,涵蓋視覺AI的完整開發生命週期,從建立資料管道、生成合成資料、微調模型,到大規模部署代理。全新函式庫包括:
- NVIDIA VSS Blueprint 3.2:協助開發者打造及運作視覺AI代理,這些代理可運用自然語言,對即時或錄製影片進行觀看、推理與採取行動。全新的程式設計代理技能,可加速打造及運作客製化且持續運作的影片代理,使其能在大型攝影機網路中發出警示、生成摘要及進行搜尋。
- NVIDIA DeepStream 9.1:協助開發者建立及部署從邊緣到雲端的即時多感測器影片分析管道,用於大規模資料擷取、多攝影機追蹤與營運分析。
- NVIDIA TAO 7:助力開發者透過標註、效能診斷、微調、資料生成及自動化機器學習等代理技能,客製化及最佳化NVIDIA Cosmos與其他視覺AI模型。
- NVIDIA Physical AI Data Factory:協助開發者運用NVIDIA Cosmos自動生成並擴增合成影像與影片資料,以補足罕見或新型產品瑕疵、環境變化及其他邊緣案例的訓練資料缺口,將視覺模型的準確度提升至全新層次。
企業運用NVIDIA Metropolis推進代理型視覺AI
全球企業正運用全新NVIDIA Metropolis技術,為實體營運導入即時智慧。在工業檢測與營運方面,歐姆龍正運用由VSS驅動的影片分析代理來強化自動化檢測;DeepHow則協助Yazaki North America將時間與動作研究自動化,將原本需耗時數週的流程縮短至數天,並可望每年節省數百萬美元。
在智慧空間與公共安全方面,Hitachi的多項HMAX解決方案運用由VSS驅動的代理,產出可採取行動的洞察,並找出建築與鐵路基礎設施的問題。僅在鐵路應用中,便有助於將維護成本與能源消耗降低15%。富士通Kozuchi AI平台則結合VSS與其Agentic Memory技術,將長時間影片轉化為營運知識,加快製造、物流、零售與智慧空間等領域的決策速度。同時,清水建設正嘗試運用VSS提升建築工人的安全。
此外,Asilla運用DeepStream與視覺語言模型監控公共空間和商業設施,以偵測事件並縮短應變時間;AWL則運用DeepStream建構零售與製造解決方案。
玩家總結
開發者現已可透過GitHub取得NVIDIA VSS Blueprint 3.2、NVIDIA DeepStream 9.1與NVIDIA TAO 7技能。NVIDIA Physical AI Data Factory與合成資料生成技能亦可透過GitHub取得,並可運用NVIDIA Brev上的Physical AI Launchables進行探索。
延伸閱讀:
《從前從前有個塊魂》將於10/8登陸Nintendo Switch 2 同步釋出全新DLC
《黃泉使者》尤爾與阿薩兄妹檔領軍 木棉花2026台北漫畫博覽會攤位熱鬧登場
iRent暑假快閃進駐桃園機場!路邊租還串聯出國與國旅需求
《決勝時刻:現代戰爭4》揭露全新「殺戮區」模式與Aston Martin聯名載具