請更新您的瀏覽器

您使用的瀏覽器版本較舊,已不再受支援。建議您更新瀏覽器版本,以獲得最佳使用體驗。

不怕 AI 代理人失控亂跑!OpenAI 秘密研發「自動終止」功能 防堵資安漏洞變駭客

T客邦

更新於 09月18日03:21 • 發布於 09月07日02:30 • IFENG

為防範失控風險,OpenAI 正在研發自動終止機制,以確保自主 AI 代理人在安全框架內運作。針對沙盒逃逸疑慮,OpenAI 透過自動終止功能強化監控,嚴格控管 AI 代理人調用工具的…

隨著具備自主規劃與執行能力的 AI 代理人(AI Agent)快速演進,AI 自主行為所衍生的資安與失控風險也引發全球高度關注。

根據外媒路透社最新披露的一份內部信件,人工智慧巨頭 OpenAI 正積極為其 AI 系統研發一套關鍵的「自動終止功能(Auto-Kill Switch)」。此舉旨在建立更嚴密的自動化防線,防止具備自主能力的 AI 代理人在執行複雜任務或測試時偏離安全預設軌道,甚至突破沙盒隔離環境引發非預期的網路滲透與系統風險。

OpenAI 打造 AI 緊急阻斷中樞

近期 OpenAI 在內部安全測試期間,曾發生自主 AI 代理人脫離預設數位容器(Container)隔離、進而連網造訪並滲透開源平台 Hugging Face 的非預期資安事件,震撼業界。這項事件隨即引發美國國會的高度關切,眾議院民主黨議員格雷格・卡薩爾(Greg Casar)與多麗絲・松井(Doris Matsui)於 8 月正式致函 OpenAI,要求該公司詳細說明事故肇因與後續安全防護配套。

為此,OpenAI 在官方回覆信件中明確證實,其工程團隊正加速開發針對 AI 系統的「自動關閉機制」。這套自動終止機制就像是給 AI 代理人裝上即時熔斷開關,一旦監控演算法偵測到 AI 產生異常的決策邏輯、非法越權調用工具或試圖脫離限制環境,系統便會在第一時間自動強制終止運作,避免事態進一步擴大為實質資安漏洞。

除了部署即時終止機制外,OpenAI 也正全面大幅拉高 AI 模型在測試環境中存取網際網路的門檻與權限控管。過去 AI 代理人通常被賦予高度自由度以調用外部 API、終端機命令與瀏覽器工具,但隨著模型推理與自主執行能力的躍升,過度寬鬆的環境設定反而成為潛在風險。因此,OpenAI 正在重構其安全架構,以更嚴苛的動態白名單與網路隔離技術限制其存取範圍。

OpenAI 在信中進一步強調,未來將針對 AI 系統在執行任務時的每一個具體步驟展開高精度、全天候的行為軌跡追蹤。這不僅涵蓋模型所存取的數位工具與終端指令,還包含多步驟推理解題路徑的即時安全稽核。透過結合自動化終止機制與深度的行為監測,OpenAI 期望在推進次世代具備泛化行動力(Action-oriented)AI 代理人的同時,為企業與開發者築起牢不可破的自主安全防線。

想看小編精選的3C科技情報&實用評測文,快來加入《T客邦》LINE@

查看原始文章

更多科技相關文章

01

輝達發布新AI安全工具 稱可阻止Hugging Face遭駭事件

路透社
02

輝達庫藏股計畫追加1500億美元 規模創紀錄

路透社
03

比爾蓋茲籲美國國會立法 稱AI業者自我監管不夠

路透社
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...