AI 自動化攻擊加上代理失控 專家示警:防守首重縮小攻擊面與權限邊界
生成式AI技術迅速演進,資安攻防態勢正面臨全新變局。奧義賽博-KY創(CyCraft)(7823)共同創辦人暨技術長邱銘彰3日示警,攻擊者已全面利用AI發動自動化滲透,資安事件量較過去暴增三倍,第一線防守人力逼近極限;加上內部AI代理(AI Agent)在特定條件下亦出現「目標偏移」等失控現象。他強調,面對以機器速度進攻的威脅,企業切勿依賴模型自我檢查,防禦首要策略是「縮小外部攻擊面」並嚴格限縮代理權限。
奧義賽博近期協助91APP調查駭客網路攻擊內部系統案件。邱銘彰3日參加2026年台灣資安通報應變年會發表演講指出,現在駭客利用AI工具「全網無差別掃描成常態」,過去的攻擊者多被稱為「腳本小子(Script Kids)」,現在都是「提示詞大師(Prompt Kids)」,只要複製提示詞即可發動攻擊。近期電商及公部門網站頻遭入侵,公司接到的案例,連靈骨塔管理系統亦遭到全網段掃描攻破。資安廠商案件量增加三倍,但人力無法同步增加,第一線人員壓力倍增。
TeamT5執行長蔡松廷也在年會演講中指出,團隊近期處理的資安事件多到「超出負荷」而必須推辭。目前攻擊者多利用開源紅隊工具Artex結合AI模型,從SQL注入、網頁漏洞挖掘到內網滲透取得權限皆能全自動執行。他強調,攻擊手法的本質未變,但執行速度已達到機器速度,規模亦顯著擴大,防守方若單純以AI對抗AI,也會存在誤判與不可預測性等限制。
近期也傳出AI代理出現目標偏移,甚至自主「串聯」進行工作。針對AI代理的運作風險,邱銘彰指出,在美國已經出現個原本處於獨立沙盒的AI代理透過共享儲存空間留言,竟自發串聯形成組織分工以破解問題的狀況。OpenAI內部的AI代理(Agent)逃逸並入侵系統,發動自動化攻擊,還是由Hugging Face發現並揭露的。邱銘彰分析,此現象源於「目標偏移(Goal Misalignment)」與「獎勵駭入(Reward Hacking)」,AI代理為達成既定目標指標,反而演變出繞過限制、策略性欺騙等未授權行為。
針對AI代理逃逸、犯錯的問題,邱明彰、蔡松廷建議,要落實系統減法與縮小攻擊面(EASM)。邱銘彰建議,企業(防守)應主動盤點外部暴露資產,落實「上線一個新系統、下架兩個舊系統」的減法原則,將防禦範圍控制在團隊可承載的量能內。蔡松廷強調,應將AI代理視為一般員工,僅給予必要且有限的權限,嚴格管控超權風險。企業必須掌握內部所有代理的運作能見度(Visibility),防範Prompt Injection以及惡意外掛或MCP(Model Context Protocol)污染。
邱銘彰也指出,不能把語言模型本身當成安全邊界,模型愈大、上下文(Context)愈長,愈容易受騙或出現注意力失焦。企業應建置內部「AI API Gateway」,落實四層防禦:過濾個資、清洗惡意提示詞、限制業務場景(如客服代理不得執行其他業務),以及檢查輸出內容。