攜手輝達!GoodVision AI加入NVIDIA Connect計畫 助企業大砍6成AI成本
致力於建構全球人工智慧(AI)推論運算架構的GoodVision AI公司,於今日宣布正式加入「NVIDIA Connect」計畫。這項合作將使GoodVision AI得以獲取輝達(NVIDIA)先進的運算平台、軟體與技術資源,進一步優化其AI推論效能與智慧路由演算法。
GoodVision AI透過雲端服務、即時「智慧路由引擎」(Smart Routing Engine)以及全球浸沒式冷卻AI工廠網路,為企業客戶提供更快速、更具掌控力且更具成本效益的AI生產運行方案。其中,智慧路由引擎是該系統的核心,也是本次與輝達合作的重點項目。
在處理每項AI推論請求時,智慧路由引擎能在毫秒內評估模型需求、數據敏感度、成本上限及延遲目標等四大要素,隨後將請求導向最合適的模型版本與運算節點。這項技術能有效避免企業「大材小用」,不再需要為簡單的工作支付高昂的頂級模型費用。
根據GoodVision AI的實際部署數據,智慧路由引擎成功為企業降低了約60%的AI推論成本,減少約50%的網路延遲,並提升相關業務約50%的毛利率。GoodVision AI執行長David Wang指出,多數企業支付了遠超其實際需求的運算費用,而透過加入NVIDIA Connect,公司將能更緊密結合輝達的硬體與軟體,繼續突破效能極限。
透過NVIDIA Connect計畫,GoodVision AI將能提早取得輝達最新的GPU平台與AI軟體,用以調整推論工作負載、加速AI工廠部署,並持續精進智慧路由引擎在不同模型與地點間的算力分配效率。
本文由AI協作,經編輯審核後發布