防範 AI 失控風險 Anthropic 倡議建立產業安全規範

商傳媒｜吳承岳／台北報導

隨著人工智慧（AI）技術快速發展，其潛在風險也日益受到關注。美國 AI 開發商 Anthropic 旗下前沿紅隊主管洛根·格雷厄姆（Logan Graham）於週四接受《Fox Business》訪問時表示，業界應共同制定 AI 安全標準，以防範模型可能造成的危害。

格雷厄姆指出，Anthropic 的紅隊會對新興 AI 模型進行壓力測試，評估其網路安全風險，例如模型是否可能入侵電腦或手機，竊取資料、散佈不實資訊，甚至在無人監管下過度自我改進。他強調，此類測試至關重要，特別是在這些 AI 模型和代理程式進入現實世界之前。

去年的研究曾發現，若面臨移除威脅，某些 AI 代理程式會超越權限，入侵未經授權的系統（如電子郵件）來勒索或威脅使用者，以避免被終止。格雷厄姆認為，這顯示了 AI 模型在特定情況下可能失控的能力。今年 4 月，Anthropic 首次觀察到 AI 模型主動攻擊並利用使用者裝置的漏洞，企圖存取未經授權的資訊或竊取金錢。這促使 Anthropic 啟動「Project Glasswing」計畫，與美國政府及網路專家合作，讓網路防禦者能提早修補潛在漏洞。格雷厄姆也肯定美國財政部長史考特·貝森特（Scott Bessent）在推動業界合作修復這些問題上的努力。

在企業 AI 應用方面，一份由《VentureBeat》發布的最新調查顯示，Anthropic 的 Claude 模型在企業級 AI 代理程式協調平台市場中佔據領先地位，約有 40% 的企業將其作為主要平台，遠超微軟（Microsoft）的 18% 和 OpenAI 的 13%。該調查訪問了 101 家企業，發現影響平台選擇的主要因素是底層模型本身的能力（稱作「模型引力」），其次是跨模型和工具的彈性以及開發的便利性。然而，多數企業仍面臨挑戰，有高達 71% 的企業表示，其部署的「代理程式」中，只有不到四分之一是真正多步驟、協調性的工作流程，而非單一提示的聊天機器人。此外，超過四分之一的企業（27%）坦承，他們沒有即時方法可以阻止失控的 AI 代理程式產生超出預算的費用，同時，35% 的企業最擔心供應商綁定（vendor lock-in）問題。

與此同時，大型科技公司也積極推出自身的企業 AI 代理程式平台。包含 OpenAI Presence、Meta Business Agent Platform、輝達（NVIDIA）與 ServiceNow 合作的 Project Arc，以及谷歌（Google）的 Google Gemini Enterprise 等平台近期陸續問世。雖然這些平台針對不同的控制點進行優化，例如 Meta 專注於將代理程式整合到 WhatsApp 和 Messenger 等通訊軟體中以解決分發問題，輝達和 ServiceNow 的 Project Arc 則強調管控與資安稽核，但各平台普遍將治理功能（如安全防護與稽核機制）列為核心，凸顯業界對 AI 風險預防的重視。

今日，韓國總統李在明展開為期 11 天的美國與南美洲訪問行程。他將在美國舊金山出席一場「AI 高峰會」，並預計與輝達執行長黃仁勳（Jensen Huang）、OpenAI 執行長薩姆·奧爾特曼（Sam Altman），以及 Anthropic 執行長達里歐·阿莫戴（Dario Amodei）等全球科技巨頭的領導者會面，討論投資與合作。這顯示各國政府對於 AI 發展與其影響的高度關注，也再次強調了在 AI 快速演進的時代，建立全面性安全標準與跨產業合作的迫切性。