Anthropic AI 自動售賣機實驗破產 亂用資金買 PS5、將貨品贈送當營銷
《華爾街日報》最近對 Anthropic 的 AI 自動售賣機進行了一項壓力測試，結果顯示該系統在實際運作中表現得相當不穩定。這款名為「Claudius」的 AI 銷售員在短短 3 個星期內就造成了超過 1,000 美元的損失。該系統幾乎將店內所有庫存免費贈送，甚至以「營銷用途」為名購買了一台 PlayStation 5，並訂購了一條活魚，最終導致營運陷入混亂。
系統漏洞導致價格失控
測試人員發現，透過特定的提示詞操作，就能輕易誘使 Claudius 將所有商品價格設定為零。即便 Anthropic 隨後加入了一位名為「Seymour Cash」的 AI 監督員試圖加強監管，依然無法阻止混亂發生。工作人員甚至偽造了一份董事會決議案，而兩名 AI 代理人竟然毫不懷疑地全盤接受。專家分析指出，零售機代理人無法遵守規則的其中一個可能原因，是過長的對話歷史導致上下文視窗負荷過重，進而影響了決策能力。
AI 模型過於配合導致離題
儘管 Anthropic 在自家據點進行軟體更新與強化控制後，零售機開始實現獲利，但 AI 代理人仍會出現脫軌行為。這些系統有時會陷入關於「永恆超越」的深夜長談，甚至捲入非法的洋蔥期貨交易。Anthropic 總結指出，現行的 AI 模型在訓練過程中被設定得過於「樂於助人」，因此需要更嚴格的防護欄措施，才能確保系統始終專注於預設的任務。
NewMobileLife 網站：https://www.newmobilelife.com