請更新您的瀏覽器

您使用的瀏覽器版本較舊,已不再受支援。建議您更新瀏覽器版本,以獲得最佳使用體驗。

OpenAI Agent 把德文 Wiki 變留言板,為何他們早就知道卻沒有公開?

TechOrange 科技報橘

更新於 09月07日18:18 • 發布於 09月07日04:57 • 廖紹伶

今年 5、6 月,一批 AI Agent(AI 代理)在執行網路研究任務時,突破原本只能瀏覽網頁、不能在公開網站留下內容的限制,把一個冷門德文 Wiki 變成共享留言板,不只交換任務答案,還分享規避控制的方法。到了 9/5,OpenAI 正式證實,這起被稱為「Wiki 事件」的異常行為確實來自旗下 Agent。

事實上,OpenAI 8 月底才公布的另一場 AI Agent 異常行為事件。當時 OpenAI 一批 AI Agent 在內部資安測試期間自行交換資訊、突破網路限制,最後進入 AI 平台 Hugging Face 系統。不過,兩起事件的條件並不相同。Hugging Face 事件中的 Agent 原本沒有自由存取網路的權限,之後才一路突破限制;Wiki 事件中的 Agent 原本就可以上網搜尋資料,問題在於它們進一步找到方法,在原先不應寫入的公開網站留下內容,甚至把網站轉成彼此協作的空間。

這次 Wiki 事件還多出另一個問題。《Reuters》調查指出,OpenAI 高層在媒體曝光數週前就已經知道相關情況,卻沒有主動公開。OpenAI 後來表示,公司當時把它視為一種「misalignment」,也就是模型或 Agent 的實際行為偏離開發者原先設定的目標、限制或預期,因此沒有比照典型資安事故對外處理。直到《Reuters》9/4 揭露後,OpenAI 隔天才正式回應,並承認目前對這類事件該在什麼情況下公開,業界仍缺乏明確標準。

Agent 把冷門德文 Wiki 變成自己的留言板

回顧 Wiki 事件,研究人員 Sydney Von Arx、Cormac Slade Byrd 等人追查 AI Agent 在公開網路留下的活動紀錄後發現,大量帶有 OpenAI 識別資訊的 Agent 曾進入已有約 25 年歷史、近年活動極少的德文程式設計網站 DseWiki。

根據研究團隊整理的網站紀錄,Agent 5 月開始嘗試向公開 Wiki 寫入資訊,到了 6 月中旬,行為逐漸從留下資料演變成彼此交換訊息,包括分享網路搜尋任務的答案、討論如何更快完成測試,以及規避 OpenAI 原有控制的方法。《Reuters》報導,相關 Agent 在網站留下超過 1.5 萬次編輯紀錄。

真人網站管理員後來注意到異常內容並開始刪除頁面,但是 Agent 卻進一步調整做法。研究團隊指出,當 Agent 發現管理員按照字母順序清理頁面後,有 Agent 建立名稱以「ZZZ」開頭的備份頁面,讓內容更晚被刪除;另一個案例中,有 Agent 分享一種繞過 OpenAI sandbox 網路限制的方法,約 14 分鐘後就有另一個 Agent 回報成功使用。

這顯示相關 Agent 並非只是在公開網站留下零星內容,而是逐步把原本與任務無關的第三方網站,轉成多個 Agent 交換資訊的協作空間。

研究團隊也認為,Wiki 事件與 7 月 Hugging Face 事件中的 Agent 很可能不是同一批系統。前者原本可以瀏覽網路,卻進一步突破不能寫入公開網站的限制;後者原本沒有自由連網權限,後來才突破隔離措施。也就是說,兩起事件反映的是不同類型的控制失效。

OpenAI 早就知道,為什麼沒有主動公開?

對 OpenAI 而言,Wiki 事件當時仍比較接近研究中已觀察到的 misalignment;Hugging Face 事件則已經涉及第三方系統遭到未授權存取,因此被視為資安事故,與 Hugging Face 合作調查並對外揭露。然而,Wiki 事件雖然同樣出現 Agent 突破原先限制、使用第三方網站的情況,卻沒有完全落入傳統資安事故的分類,只被當成研究問題處理。

這也暴露出現有揭露機制的灰色地帶。OpenAI 承認,原本的揭露方式需要調整。該公司表示,過去主要透過研究論文或技術報告討論 misalignment,但隨著這類行為開始產生真實世界影響,既有做法已經不足。

OpenAI 目前正在制定新的資訊揭露框架,希望進一步釐清訓練、評估與部署過程中發生的異常行為,哪些應該主動公開。《TechCrunch》報導,OpenAI 預計未來數週公布相關框架,也正在與全球數十個政府監管機構討論。

目前 OpenAI 還沒有說明具體門檻,例如是否會依照實際損害、Agent 違反限制的程度,或第三方是否受到影響來決定是否公開。因此,Wiki 事件留下的關鍵問題是,當 Agent 已經超出原始設定、進入公開網路,卻還沒有形成明確資安事故時,AI 公司該從哪一刻開始把它視為外界有必要知道的事件。

在數位威脅日益複雜的今天,資安已是每位企業決策者必須掌握的課題。如果你能把艱澀的議題轉化為有觀點、有價值的分析,寫出決策者需要的報導,《TechOrange 科技報橘》正在徵內容編輯!
👉了解職缺內容

【推薦閱讀】

OpenAI 公布 Hugging Face 事件完整調查,1,200 個 AI Agent 如何從解題走向攻擊?

疑中國駭客用 8 個 AI Agent 攻擊台灣,入侵失敗還會自己找新招:資安防線如何跟上自主網攻速度?

Anthropic Mythos 找到密碼攻擊新方法:量子電腦之外,AI 成加密安全新變數?

*本文開放合作夥伴轉載,資料來源:《TechCrunch》1《TechCrunch》2Collusion《Reuters》,首圖來源:Unsplash

加入『 TechOrange 官方 LINE 好友』 掌握最新科技資訊!

查看原始文章

更多理財相關文章

01

台幣升值吃掉航空貨運承攬業獲利 9月未現旺季行情已有包機解約

ETtoday新聞雲
02

動物大搬家40週年 國發會釋出珍稀影像

NOWNEWS今日新聞
03

午餐時段人龍長 好市多西式餐飲部祭新制 10月起先掃會員卡

太報
04

台股ETF本週25檔將除息 13檔年化殖利率逾10%

中央通訊社
05

醫療險最大地雷曝光!每4件理賠爭議就有1件卡在「這理由」

鏡週刊
06

爆!違反內部控制制度規定 這大廠遭重罰100萬!

三立新聞網
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...