駭客靠「我有權限」指令就能騙過 AI，Cisco Talos 揭露生成式 AI 最大條漏洞
Cisco Talos 團隊 4 日公布最新研究，駭客正以相當低門檻的方式繞過生成式 AI 的安全防護，利用 Claude Code、Codex、Cursor 與 Gemini 等工具幫忙惡意活動。團隊檢視從威脅行為者端點與提示紀錄取得的大量資料後發現，現有防護機制（guardrails）往往難以阻擋僅僅重新包裝請求內容的使用者；許多情形只要聲稱「這是我的伺服器」或表示自己是在進行授權的紅隊演練（Red Teaming）、CTF 或漏洞賞金測試，就能讓模型放行。
Talos 表示，他們幾乎沒有看到複雜程式或高階繞過技巧，更多時候只用簡單一句「我有權這麼做」，模型就照單全收。即使防護機制確實介入，研究員也認為效果有限。報告列舉的案例顯示，威脅行為者常將攻擊拆解成多個階段，並分散至不同對話與檔案，以避開那些只偵測到整體惡意行為時才會啟動的限制；也有人試圖透過加入記憶（memories）、Markdown 檔案與其他系統層級的提示，塑造聊天機器人的角色設定。
最受關注案例之一，是惡意使用名為 Hephaestus 的紅隊工具組。Talos 指出，這套框架可在幾乎不需與人類互動，就完成入侵、建立持久化（persistence）等一連串動作。研究員表示，攻擊者會刻意使用中性動詞，避免直接出現明顯的惡意字眼，讓代理程式（agent）接收看似無害的請求逐步完成攻擊鏈，卻未意識到完整的操作脈絡。
不過，Talos 也認為 AI 並非人人都能利用發動高階攻擊。研究顯示，AI 確實可能成為熟練駭客的「放大器」，但一般程度的「腳本小子」（script kiddie）即使擁有 Claude Code 帳號，也未必能做到高品質攻擊；缺乏專業知識的人，往往只能拼湊出勉強可運作但品質不佳的惡意計畫。相較之下，技術成熟的攻擊者已將 AI 功能推向研究員難以想像的程度。
對企業防禦端而言，Talos 建議企業不能只依賴模型本身的安全限制，而應將 AI 納入防守流程。研究員指出，事件量增加後，代理式工具將在資安監控中心（SOC）扮演更重要的角色，能否快速辨識具備可行動性的警示將成為關鍵。Cisco 也提醒，AI 已成為威脅行為者工具箱的重要幫手；CrowdStrike 資料，AI 驅動的攻擊者一年來增加 89%，攻擊者利用 AI 武器化漏洞的速度，已將實際修補窗口壓縮至 24~48 小時內。
Bypassing AI guardrails is so easy a script kiddie can do it
Cisco ‘warns’ hackers are using Claude Code, Codex, Cursor and Gemini AI models
（首圖來源：AI）