請更新您的瀏覽器

您使用的瀏覽器版本較舊,已不再受支援。建議您更新瀏覽器版本,以獲得最佳使用體驗。

AI Agent 不必全程上雲?Perplexity 聯手 NVIDIA 推 Portable Computer

TechOrange 科技報橘

更新於 08月26日18:02 • 發布於 08月26日10:02 • 廖紹伶

當 AI Agent(AI 代理)開始長時間、自主執行任務後,還適合每一步都靠雲端模型、按 token 付費嗎?和一問一答的聊天機器人不同,Agent 為了完成一項工作,可能持續規劃任務、讀取文件、搜尋資料、呼叫工具,再反覆檢查結果。當工作時間從幾秒拉長到數十分鐘甚至數小時,模型呼叫次數跟著增加,雲端推論成本與資料傳輸問題也會被放大。

Perplexity 現在提出另一種做法,8/25 它與 NVIDIA 推出「Portable Computer」,嘗試把原本依賴雲端執行的 Agent 工作流程搬到使用者自己的設備,需要最新網路資訊或更強模型時,再選擇向雲端求援。

Portable Computer 是「本地端優先」的 Agent

名稱雖然叫 Portable Computer,但它不是 Perplexity 推出的一台實體電腦,而是一套本地端優先的 AI Agent 軟體環境。Perplexity 官方表示,這是其產品 Perplexity Computer 的完全本地版本,模型、Agent 執行架構、對話內容與任務執行過程,預設都能留在使用者設備上。

它也不只是下載一個大型語言模型到電腦裡。《VentureBeat》指出,Portable Computer 把 planner、工具路由、排程、任務佇列、本地搜尋、安全沙盒等 Agent 執行元件一起搬到本地,讓 Agent 能在設備上完成規劃、讀取資料與操作工具等一整套流程。

目前 Portable Computer 首先針對 NVIDIA 的桌上型 AI 超級電腦 DGX Spark 最佳化。DGX Spark 採用 GB10 Grace Blackwell Superchip 與 128 GB 統一記憶體,主打讓開發者直接在桌面執行較大型 AI 模型與 Agent。

雙方的合作也不只是 Perplexity 把軟體裝到 NVIDIA 硬體上。Perplexity 負責 Agent harness、模型後訓練與產品介面,NVIDIA 則提供 DGX Spark 與本地 AI 推論的軟硬體環境,雙方並持續調整模型與 Agent 在本地端的執行。目前官方主要以 DGX Spark 作為首發平台,更多 Windows 與 NVIDIA GPU 平台支援則仍在擴展中。

平常任務自己做,碰到難題才找雲端模型

需要留意的是,Perplexity 並沒有宣稱 27B 級本地模型已能取代 Claude 等前沿模型。Portable Computer 更重要的概念,是讓不同模型分工。

Perplexity 公布的 Terminal Bench 2.1 自測中,單獨使用本地 Qwen 3.8 27B 時,任務成功率為 59.6%;允許系統遇到困難時向雲端 Claude Opus 5 尋求建議後,提高至 73%,Perplexity 估算每項任務的 API 成本為 0.415 美元;若整項任務都交給 Claude Opus 5,成功率則提高到 82.4%,成本為 0.65 美元。

這組數據來自 Perplexity 自行測試,尚未經第三方驗證。不過,它呈現的設計取捨是,不要求本地模型解決所有最困難的問題,而是先承擔大量、頻繁的工作,真的超出能力範圍時,才呼叫成本較高的雲端模型。

敏感資料可以留在設備,但本地優先不等於完全離線

除了成本,資料也是 Perplexity 強調本地 Agent 的另一項優勢。當 Agent 處理公司文件、程式碼或內部資料時,讀取、搜尋與部分推理可以直接留在設備上,不必把所有中間步驟都交給外部模型。

但本地端優先不代表資料永遠不會離開設備。《Computerworld》指出,Portable Computer 本身可以連接 Google Drive、Gmail、Slack、GitHub 等服務,也能在需要時呼叫雲端模型,因此企業真正需要管理的問題,仍包括哪些資料可以向外傳送、什麼情況允許 Agent 連接外部服務,以及由誰決定。

Perplexity 表示,將任務升級給雲端 advisor 預設不會自動啟用,使用者必須先授權。不過《Computerworld》訪問的企業資安人士也提醒,若要進入金融、醫療等高度監管產業,只靠個別使用者同意可能還不夠,企業仍可能需要更完整的資料外傳政策、DLP 與稽核機制。

NVIDIA 正在把「常駐 Agent」變桌面 AI 新工作負載

與 Perplexity 的合作,也透露 NVIDIA 對桌面 AI 硬體的新定位。NVIDIA 近期強調,DGX Spark 可以 24 小時持續執行長時間持續運作的自主 AI Agent(long-running autonomous agents),讓桌面 AI 設備不只用來偶爾測試或推論模型,也能成為長時間運行 Agent 的運算節點。

這也讓 Perplexity 與 NVIDIA 的合作不只是一項軟硬體整合。當 Agent 開始持續工作,競爭逐漸從哪個模型最強,延伸到整套運算應該如何配置,例如哪些任務值得送上雲端,哪些可以留在設備,又要如何控制 Agent 跨出裝置邊界。

對 Perplexity 而言,Portable Computer 想降低對雲端推論與資料外傳的依賴;對 NVIDIA 而言,則是替 DGX Spark 等桌面 AI 硬體找到長時間執行 Agent 的新工作負載。這套模式能否真正進入企業,接下來仍得看本地模型能力、硬體成本,以及企業能不能真正掌握 Agent 何時、為了什麼資料連上雲端。

科技的變化總是快得驚人,而我們每天的工作,就是從龐雜的趨勢中理出觀點、提煉出決策者真正需要的洞察。如果你也對 AI 發展充滿熱情,《TechOrange 科技報橘》正在徵內容編輯!
👉了解職缺內容

【推薦閱讀】

迎戰本地 AI 代理時代:新款 Mac mini 挾 M6 晶片登場,蘋果打造「微型 AI 工作站」

AI 用得多不等於生產力高:看摩根大通、高盛、花旗,如何用 3 種管理模式重新定義「AI KPI」

Cursor 推 Origin 進軍程式碼託管:AI coding 戰場為何從 IDE 打到 GitHub?

*本文開放合作夥伴轉載,資料來源:《VentureBeat》Perplexity《COMPUTER WORLD》《SiliconANGLE》,首圖來源:擷取自 Perplexity

加入『 TechOrange 官方 LINE 好友』 掌握最新科技資訊!

查看原始文章

更多理財相關文章

01

台幣升值吃掉航空貨運承攬業獲利 9月未現旺季行情已有包機解約

ETtoday新聞雲
02

動物大搬家40週年 國發會釋出珍稀影像

NOWNEWS今日新聞
03

午餐時段人龍長 好市多西式餐飲部祭新制 10月起先掃會員卡

太報
04

台股ETF本週25檔將除息 13檔年化殖利率逾10%

中央通訊社
05

醫療險最大地雷曝光!每4件理賠爭議就有1件卡在「這理由」

鏡週刊
06

爆!違反內部控制制度規定 這大廠遭重罰100萬!

三立新聞網
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...