AI 模型有主動學習能力，企業的紅隊演練應如何布局輔助資安策略？
隨著 AI 逐步導入企業營運的各項環節，在駭客眼中儼然成為一塊大餅，人工智慧模型同樣也存在各種網路安全漏洞，一旦被惡意行為者入侵，包括竊取資料或破壞內部系統都有可能發生。
全球企業過往以來皆因技術迭代而不斷調整現有的網絡安全架構以應對各種最新的資安威脅。其中一項措施就是紅隊演練（Red Teaming），根據趨勢科技指出，所謂「紅隊演練/攻擊演練」就是找一組人扮演駭客，模擬駭客對企業發動網路攻擊，製造一種相當於遭遇駭客攻擊的情境來考驗企業的防禦，並且累積第一線事件回應的經驗。
但 Data & Society 近期的報告揭露，當涉及到保護 AI 應用時，紅隊演練會變得更困難。
紅隊演練不能再只有單一目標，演練需擴大範圍
在 AI 還尚未盛行前，紅隊演練可以被視為實體商店「神秘客」，它們的目標是尋找資安漏洞，通常不會提前告知企業內部的資安團隊，且執行演練前都會有一個具體目標（例如，攻擊有關業務的關鍵伺服器）。但隨著 AI 應用被套入企業營運的每個環節中，紅隊演練的運用產生很大的轉變。演練過程不再只是單一目標性或者破獲一道關卡，演練範圍變得更為廣泛。
與以往的軟體應用不同，AI 模型有著主動學習的能力，會隨著時間變得更加機敏，但這也意味著新風險隨時都可能出現，讓資安團隊極難預料，而一成不變的紅隊演練方法根本行不通，「在這些人工智慧模型的能力隨時間成長下，資安團隊不再只是面對一個靜態模型。」
另外還有一項變化是：當企業開始使用大型語言模型（LLM）時，所能看到的只是模型本身，而不是背後的數據和程式碼。這種情況使得內部團隊在評估和確保模型的安全性變得很困難，因為過去在軟體應用中，資安團隊通常能夠查看軟體的原始碼來辨識其中的安全漏洞。
也就是說，對導入 AI 應用的企業進行紅隊演練不再只是簡單的設立目標然後按照勾選清單方式去測試。
今日的資安團隊為了識別資安漏洞，需要不斷地想出不同方法來對 AI 模型進行挑戰，並密切監控模型的行為和輸出。因此，只有擴大紅隊演練的範圍，才能充分識別潛在的漏洞，並主動在它們周圍構建保護層。
組織必須檢視紅隊演練的過程，才可藉其輔佐資安防護
擬定企業在營運環節的防護策略對於預防攻擊至關重要，當 AI 出現在我們每個工作環節當中，每天也一定會有新的威脅接連出現。
而保護 AI 模型是一個所有企業共同面臨的課題，也是終將需要解決的全新挑戰。紅隊演練在此之中確實是很好的起點，但同時也是在考驗企業自己對紅隊演練過程的理解，如何駕馭這項安全策略來輔佐內部資安。
在家聽紅隊演練專家 DEVCORE 和趨勢科技等多位講者演講回顧
免費索取【2024H1 資安實戰演練大會】演講精華
【推薦閱讀】
台灣砸重金建衛星系統——等等，之前跟馬斯克 SpaceX 合作談不攏嗎？因為他會弄台灣嗎？
＊本文開放夥伴轉載，參考資料：《Help net security》、《Help net security》、《Data & Society》、OpenAI，首圖由 AI 工具 Dall E 生成