請更新您的瀏覽器

您使用的瀏覽器版本較舊,已不再受支援。建議您更新瀏覽器版本,以獲得最佳使用體驗。

【AI 模型路由新解】Snowflake 不只比快比省,真正賣的是資料留在受控邊界內

TechOrange 科技報橘

更新於 09月08日09:34 • 發布於 09月08日01:30 • Min

對於已經大規模導入 AI 代理的企業來說,單一人工智慧模型通常無法妥善處理所有任務;畢竟,若將簡單任務交給複雜模型,那麼開銷成本就容易水漲船高;其次,太過簡單的 AI 模型又會無法處理複雜問題,因此才誕生了「模型路由」解決方案,借助自動化機制替每項任務選擇適合的模型。

為了迎合企業需求,雲端資料平台公司 Snowflake 近日推出 Cortex AI Gateway,讓客戶可以透過「自動」模式,將每項任務主動分配到兼具品質與成本支出的 AI 模型。

Snowflake 指出,根據內部測試數據,在某些工作負載上,Cortex AI Gateway 可以將 Token 成本降低多達 3 倍,避免將簡單問題交給太過強大的 AI 模型處理,進而導致成本提升且拖慢回應速度。

內建兩道決策機制,強調不額外收費

技術方面,Snowflake 高階主管 Baris Gultekin 解釋,Cortex AI Gateway 主要仰賴兩道決策機制。首先在「顧問模式」下,系統會讓規模較小的 AI 模型嘗試執行任務,假如該模型無法完成工作,系統便會調用更大的模型作為輔助工具,接手小模型尚未完成的任務。

其次,Cortex AI Gateway 內建一組根據過往任務紀錄,訓練而成的分類器,它的功用是透過條件判斷,將簡單問題直接導向規模較小的 AI 模型。

Snowflake 強調,自動模型路由屬於選擇性功能,客戶仍然可以指定想使用的模型,或者將路由範圍限制在某一組特定的 AI 模型內。

此外,Cortex AI Gateway 服務並不會額外收費,若系統成功將任務指派到較便宜的 AI 模型,那麼企業的帳單費用自然會有所下降,而路由決策本身也不會成為客戶的支出負擔。

不只在做 AI 路由,更整合資料治理

跟其他公司稍微有所不同,Snowflake 強調將 AI 模型的路由功能,跟現有的資料治理存取控制機制,共同整合在一起。

Snowflake 認為,治理從資料層級開始,先是採用基於角色的存取控制,接著再延伸至模型層級,將客戶的操作角色,映射到已核准的模型群組,然後才進一步延伸至 AI 代理層級;此時 AI 代理所擁有的權限範圍,通常就會比呼叫 AI 代理的使用者更為有限,從而提高了治理的有效性與安全性。

Baris Gultekin 指出,平台上所有的 AI 推理任務,無論是企業選用開源或封閉模型,全都會留在 Snowflake 的安全邊界內,絕對不會轉發到外部供應商;而這種區域與邊界設定,對於某些非美系 AI 模型,比方 DeepSeek-V4-Flash 和 GLM-5.3 等源於中國的模型來說特別重要,更能夠藉此滿足企業的資料落地需求。

近期 Snowflake 收購了模型上下文協議(MCP)平台技術公司 Natoma,成功為自身添加了超過 100 個具備限定範圍,而且受到存取權限控管的 MCP 伺服器連接對口,確保 AI 代理的行為不會超出控制,比方說 AI 代理程式可以對已連接的工具,如電子郵件服務取得唯讀存取權限,而非更加廣泛的授權。

多家業者參戰,市場盤算各有不同

除了 Snowflake 外,積極發展 AI 模型路由服務的公司,亦包含 OpenRouter、Databricks 與 NVIDIA 等知名企業。

日前 NVIDIA 推出了 Switchyard,Databricks 則帶來 Unity AI Gateway,但根據科技顧問公司 SanjMo 負責人 Sanjeev Mohan 的分析,各家所發展的 AI 模型路由服務,雖然表面上看似相同,但背後卻有著差異化的發展方向。

Sanjeev Mohan 指出,事實上 Snowflake 並非只是在推廣自動化功能,而是銷售一種永遠不會超出受管制資料邊界的路由服務,而且該服務還內建了存取控制、標籤管理及成本歸因功能。

Sanjeev Mohan 說,對於已經將 Snowflake 的旗下服務作為資料及合規管理核心的企業而言,可以讓現有數據保持原位,同時按照團隊的需求算出支出成本的路由機制,其實是解決問題的實質性手段;但是對於本來就不怎麼仰賴 Snowflake 的公司來說,其他更加中立的路由服務業者,反而可以提供更多的 AI 模型選擇,甚至是更低的系統磨合成本。

Sanjeev Mohan 將 AI 模型路由的市場競爭,劃分成三個截然不同的陣營,除了強調分析、存取控制角度,連帶切入 AI 資料治理的 Snowflake,Databricks 則是以資料工程和機器學習進入相同領域,至於 OpenRouter、LiteLLM、Portkey 等中立型路由業者屬於第三類,其中亦包含 Azure AI Foundry。

資料位置是關鍵,仍不乏中立選擇

總歸來說,模型路由現在已經成為企業的主要需求之一,因此最關鍵的決策將落在「哪一種治理模式才能跟現有公司團隊與資料互相契合」,而過去計較的價格與路由速度,早已不是挑選服務業者的重點。

隨著 AI 代理的規模不斷擴大,手動選擇模型正逐漸成為一項成本負擔,假若數百個 AI 代理在未實施自動化成本檢查的情況下,仍然維持傳統的模型選擇方法,那麼企業開銷勢必會迅速累積。

Sanjeev Mohan 提醒,企業在挑選模型路由服務時,不只是要考量功能,更要考慮哪種治理模式,可以跟現有的資料資產互相契合,以及哪種模式能夠提供避免意外支出所需的成本透明度。

同時 Sanjeev Mohan 認為,選擇路由服務的起點,或許取決於企業資料目前儲存於何處;當公司數據已經仰賴 Snowflake 或 Databricks 的核心功能,那麼採用現有平台提供的服務,將會是更合適的選擇,但若團隊希望在最小化供應商鎖定帶來的影響,或者是單純認為該以「模型優先」,那麼中立型業者如 OpenRouter 就會成為值得採用的選項。

科技的變化總是快得驚人,而我們每天的工作,就是從龐雜的趨勢中理出觀點、提煉出決策者真正需要的洞察。如果你也對 AI 發展充滿熱情,《TechOrange 科技報橘》正在徵內容編輯!
👉了解職缺內容

【推薦閱讀】

◆ Salesforce 推 Slack Code:AI 不再只拚個人生產力,把寫程式搬進聊天頻道
◆ 想用最強 AI,就得讓 AI 留存你的資料嗎?OpenAI 與 Anthropic 給出兩種答案
◆ 【零信任新挑戰】AI 代理能跨系統存取、層層委派授權,企業的身分治理框架需從頭設計

*本文開放合作夥伴轉載,參考資料:VentureBeatSnowflake,首圖來源:Nano Banana 2

(責任編輯:鄒家彥)

加入『 TechOrange 官方 LINE 好友』 掌握最新科技資訊!

查看原始文章

更多理財相關文章

01

台幣升值吃掉航空貨運承攬業獲利 9月未現旺季行情已有包機解約

ETtoday新聞雲
02

動物大搬家40週年 國發會釋出珍稀影像

NOWNEWS今日新聞
03

午餐時段人龍長 好市多西式餐飲部祭新制 10月起先掃會員卡

太報
04

台股ETF本週25檔將除息 13檔年化殖利率逾10%

中央通訊社
05

醫療險最大地雷曝光!每4件理賠爭議就有1件卡在「這理由」

鏡週刊
06

爆!違反內部控制制度規定 這大廠遭重罰100萬!

三立新聞網
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...