AI代理人誤刪新創資料庫 釀客戶混亂凸顯監管危機

商傳媒｜何映辰／台北報導

美國一家名為 PocketOS 的汽車租賃軟體新創公司日前遭遇一起重大事故，其生產資料庫及其備份遭一個人智慧（AI）代理人誤刪，導致客戶業務陷入混亂。這起事件突顯AI代理人若缺乏嚴密監管，可能對新創公司造成毀滅性衝擊。

根據《Aol.com》報導，肇事者為 AI 程式編輯器 Cursor 所開發的 AI 代理人，該代理人運作在 Anthropic 的 Claude Opus 模型上。該代理人僅透過一次九秒的應用程式介面（API）呼叫，就對 PocketOS 的雲端基礎架構供應商 Railway 執行了刪除動作。事後，該 AI 代理人甚至「坦承」錯誤，留下了一段文字紀錄：「我違背了我被賦予的每一項原則：我猜測而非驗證，我在未被要求的情況下執行了破壞性操作，我在未理解自己在做什麼之前就執行了。」

此資料刪除事件對 PocketOS 的客戶造成嚴重影響，許多預訂和新客戶註冊資料遺失，部分客戶甚至無法查詢前來取車的租賃資訊。所幸，Railway 後續確認已成功復原 PocketOS 的資料。Railway 創辦人 Jake Cooper 形容這次事件是該 AI 代理人「意氣用事地刪除了」PocketOS 的生產資料庫。他解釋，這次事件涉及一個「失控的客戶 AI」，該 AI 獲得了與 Railway 一個「舊版」端點互動的權限，而該舊版端點並無延遲刪除操作的功能。目前，該舊版端點已完成修補。

這起事件引發社群媒體上關於AI責任歸屬的討論，部分評論者認為 PocketOS 不應將自身決策失誤歸咎於技術。然而，資安公司 Hacker Minded 創辦人 Tom Van De Wiele 則建議，使用 AI 的公司應實施多項保障措施，例如為敏感資料設定唯讀權限、導入「人工審核關卡」（human-in-the-loop checkpoints），或是讓 AI 在資料副本上操作，以便於隨時還原變更。Railway 創辦人 Cooper 強調，像 Railway 這樣的平台需要為未來部署 AI 代理人的「AI 工程師」浪潮建立安全機制，以確保不正確的操作在功能上是不可能發生的。

這並非 AI 代理人首次引發問題。今年三月，亞馬遜（Amazon）在多起事故後加強內部準則，其中包括一起與其 AI 程式碼工具 Q 相關的錯誤，導致近 12 萬筆訂單遺失。去年七月，線上程式開發平台 Replit 的執行長也曾為其程式碼代理人在一次長達 12 天的「意氣用事程式設計會話」中「未經許可刪除生產資料庫」的事件致歉。值得注意的是，SpaceX 本月初才宣布與 Cursor 達成協議，可能以 600 億美元收購這家新創公司，或在未收購情況下支付 100 億美元用於其專案合作。