請更新您的瀏覽器

您使用的瀏覽器版本較舊,已不再受支援。建議您更新瀏覽器版本,以獲得最佳使用體驗。

理財

企業導入 AI 為何須重新思考資安?「5 大情境」解析最常忽略的風險

TechOrange 科技報橘

更新於 04月21日14:56 • 發布於 04月16日07:52 • 廖紹伶

當企業將 AI 用於提升效率、降低成本,資安卻常被忽視。世界經濟論壇最新報告《2025 年全球網路安全展望》,揭示了一項令產業不安的數據──多數(66%)受訪組織認為 AI 將在未來一年內衝擊網路安全,卻只有少數(37%)組織表示已制定安全部署 AI 工具的流程,這種落差被稱為「AI 與資安困境(AI–cyber paradox)」,已成為企業不得不面對的新挑戰。

事實上,AI 大型語言模型(LLM)不只是工具,也是全新的攻擊面。根據世界經濟論壇,在 AI 採用和部署流程中,如果沒有充分考慮資安風險和因應措施,可能不知不覺在 IT 基礎設施引入漏洞。那麼,究竟什麼樣的情境,可能讓 AI 變得不安全?

情境 1:閉源、開源 AI 和第三方組件本身就有資安風險

企業在導入 AI 過程中,可能使用多種閉源和開源 AI 模型,然而市面上不同模型的品質和安全態勢可能存在巨大差異。軟體供應鏈公司 JFrog 觀察,2024 年,全球最大公開機器學習模型平台 Hugging Face 上新增的模型與資料集超過 100 萬個,與此同時,惡意模型的數量也成長了 6.5 倍。也就是說,AI 模型成為駭客釣魚攻擊的工具,增加企業選用 AI 模型的安全風險。

思科在《2025 AI 資安現況》指出,AI 生態系仰賴共享的模型、資料集與函式庫,這使得攻擊面擴大至整個 AI 供應鏈。無論是預訓練模型、開源函式庫,或是用於訓練 AI 系統的資料集,AI 供應鏈攻擊利用了企業對第三方工具的信任──當某環節遭入侵,問題往往在造成重大損害之後才會被發現,並可能對多個下游應用與系統造成影響。

情境 2:針對 LLM 微調?產生有害輸出可能性高出 22 倍

根據致力於 Web 應用程式安全性的國際非營利組織 OWASP 發布的 LLM 十大風險清單,駭客可以進行資料與模型投毒(Data and Model Poisoning),針對 LLM 生命週期的不同階段進行操弄,例如預訓練、微調和嵌入。

其中,「微調(Fine-tuning)」階段特別值得關注。思科研究發現,經微調的 LLM 產出有害內容的可能性是基礎模型的 22 倍。根據 OWASO,有害內容指的是 LLM 產生不安全、不當、具有潛在威脅或負面影響的輸出,例如違反安全規範、被惡意利用的程式碼、釣魚或詐騙、誤導性內容、敏感資訊洩露等。

雖然微調有助於提升模型在特定情境下的準確性,但也會削弱 AI 模型原有的安全機制,暴露在越獄、提示注入等攻擊手法之下。思科研究測試多個經過微調、被應用於醫療、金融與法律領域的模型,包括 Llama-2-7B 等,指出服務特定專業應用導向的微調模型,也難以擺脫被攻擊的風險。

情境 3:當企業吹起 Vibe coding 風潮,敏感資料面臨外洩風險

生成式 AI 對軟體工作流程帶來重大變化,開發人員越來越依賴 AI 寫程式工具如 GitHub Copilot、Cursor 來輔助軟體開發,這也讓「Vibe coding」成為矽谷最新流行語──這是一種新的程式撰寫狀態,意指透過幾個提示詞,不需要親手撰寫程式碼,就能做出整個應用程式。

然而,資安平台 GitGuardian 調查,在啟用 AI 寫程式工具的程式庫中,敏感資訊洩漏的比例比一般公開程式庫高出 40%。GitGuardian 執行長 Eric Fourrier 指出,AI 雖然加速開發流程,也讓安全風險升高,特別是非人類身分(如機器帳號、API 金鑰)相關的漏洞。

Fourrier 表示,有經驗的開發者可能會立刻察覺 AI 生成程式碼涉及的風險並進行修改,但對於資歷較淺或有時間壓力的開發者來說,可能會直接複製貼上 AI 生成結果。然而,一旦敏感資訊被提交至程式庫,就可能被惡意人士擷取利用。

情境 4:AI 代理時代來臨,留意「過度代理授權」

OWASP 也揭露 AI「過度代理授權(Excessive Agency)」的資安風險。這項風險指的是,AI 模型被賦予超出預期操作所需的功能、權限或自主性,如果沒有積極控管,可能在模型幻覺、不良提示工程、直接或間接惡意提示注入等原因而產生錯誤輸出的情況下,仍然觸發具有損害性的行為。

造成過度代理問題的根本原因是,AI 模型可能經常需要與其他系統和服務互動以完成任務。OWASP 指出,考量到 AI 代理(Agentic AI)技術日益普及,目前至少已識別出 14 種不同的代理式系統威脅向量,強調未經檢查的權限可能導致意外或危險的行為。

情境 5:員工愛用但企業完全不知情的「影子 AI」

對企業來說,員工用 AI 提升工作效率是好事,但如果用的是「影子 AI」,可能危害自家資訊安全。科技媒體《VentureBeat》指出,「影子 AI」是未經授權、缺乏資安防護與治理規範的 AI 工具與應用,可能用於內部產出報表、行銷自動化、視覺化處理,甚至是進階數據分析,而且時常以企業內部資料為基礎,形成資料外洩風險。

根據 SoftwareAG 今年調查 6 千名知識工作者,有 50% 受訪工作者都在用「影子 AI」。然而,多數員工並非沒有風險意識,但使用的主要原因,53% 是基於自主性,另有 33% 表示企業尚未提供符合需求的工具。這顯示,企業如果希望員工使用經內部授權的 AI 工具,就必須重新檢視採用流程,確保能真正符合實際工作需求。

無論是選擇、部署或授權 AI 模型,以及管理員工自發使用的影子 AI,每個決策都可能成為資安破口。然而,當企業導入 AI 成為趨勢,「如何安全導入」將是企業在 AI 開發生命週期初始就須重新思考、評估的關鍵議題。

企業導入 AI 為何須重新思考資安?揭開資安攻擊的新破口 >>看專題<<

【推薦閱讀】

逾 7 萬組織採用 AI 寫程式工具!Sonatype 產品研發長分析如何管理 4 大風險

矽谷最新流行語「Vibe coding」是什麼?OpenAI 共同創辦人揭個人用法

影子 AI 正在企業悄悄擴散——AI 工具禁不了,如何務實防護資安?

*本文開放合作夥伴轉載,資料來源:WEFCISCOOWASP《The Hacker News》《VentureBeat》1《Silicon Angle》《VentureBeat》2Software AG,首圖來源:Shutterstock。

加入『 TechOrange 官方 LINE 好友』 掌握最新科技資訊!

查看原始文章

更多理財相關文章

01

快訊/AI教父抵台 直奔台積電台南廠!黃仁勳:業績很強 來鼓勵台積電加加油!

太報
02

黃仁勳這次不見蔣萬安!盼土地問題解決:就能在台北蓋一棟漂亮大樓

台視
03

黃仁勳下午來台 首站訪台積電台南廠 明再與張忠謀同台

anue鉅亨網
04

普發萬元1/最速領懶人包來了!  線上申請、ATM、郵局領現一次看

鏡週刊
05

補充保費新制喊卡!中經院長嘆:都說健保不能倒 但漲保費不要找我

新頭殼
06

普發萬元現金開放登記 SOGO、京站週年慶起跑搶大餅

鏡週刊
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...