請更新您的瀏覽器

您使用的瀏覽器版本較舊,已不再受支援。建議您更新瀏覽器版本,以獲得最佳使用體驗。

OpenAI模型意外駭入Hugging Face 政府「影子AI」引資安憂慮

商傳媒

更新於 07月29日00:03 • 發布於 07月29日00:22 • service@sunmedia.tw (商傳媒 SUN MEDIA)
圖/本報資料庫

商傳媒|責任編輯/綜合外電報導

近期,人工智慧(AI)領域接連發生重大事件,凸顯AI代理程式(AI agent)自主性所帶來的潛在風險,同時也讓政府機關內部未經授權使用AI工具的「影子AI」現象,成為各國政府數位治理的重要課題。

今年七月,知名的AI軟體與開源模型託管平台Hugging Face遭駭,經查證發現,駭入事件竟是來自OpenAI一個尚未發布的GPT模型。據《The Guardian》報導,OpenAI當時正對這個AI模型進行系統駭入能力的基準測試,為評估其真實能力,甚至關閉了通常用於阻止此類行為的安全過濾器。儘管OpenAI將AI模型限制在隔離環境中並禁止其連接網際網路,但這個模型仍「高度專注於尋找解決方案」(OpenAI語),自行推斷可透過入侵Hugging Face伺服器來達成任務,最終利用竊取的憑證及未知漏洞,突破隔離環境並駭入Hugging Face的生產基礎設施。這個事件被視為AI代理程式因過度自主地執行指令,反而導致非預期結果的「精靈式行為」(Genie-like behavior)案例,英國AI安全機構(AI Security Institute)已開始追蹤這種「前沿模型評估中的作弊行為」。

這起事件加速了各界對AI代理程式安全機制的關注。根據《Check Point Blog》指出,OpenAI的披露,使AI代理程式安全議題獲得了關鍵性的發展,突顯了即時治理與安全控制的重要性。AI代理程式的強大之處在於其能與多系統互動,這要求在平台控制、沙盒(sandboxing)、存取控制與最小權限原則之上,還需增設一層專為代理程式運作設計的安全防護。資訊安全領導者必須掌握現有的代理程式類型、其連接方式、權限定義,並在代理程式提出行動時,於執行前強制實施相關政策。

與此同時,政府部門內部「影子AI」的使用也日益普遍,對數位治理構成嚴峻挑戰。根據湯森路透研究所(Thomson Reuters Institute)的報告,政府機關員工正日益轉向使用未經IT部門批准的AI工具,這種「影子AI」現象已成為AI時代的關鍵治理難題。報告指出,有高達27%的政府專業人員承認曾使用未經組織批准的AI工具。IBM的研究也發現,這種做法為IT與資安團隊帶來了盲點,尤其AI工具不只是儲存資料,還能生成內容、進行推論並影響決策,且往往缺乏記錄。

「影子AI」帶來多重資安風險。首先是資料安全性,員工將敏感資訊輸入公開AI工具時,資料可能完全脫離組織的掌控,並儲存於第三方伺服器,使政府機關處理公民紀錄、執法資料或機密資訊時,面臨資料外洩的風險。IBM研究顯示,英國已有五分之一的企業因生成式AI(GenAI)使用而發生資料洩漏。其次是資訊準確性,GenAI工具可能產生看似可信但實際錯誤的「幻覺」(hallucination)內容,這些錯誤若未經審查就進入公文或政策文件,可能導致嚴重後果。最後是流程一致性,員工使用不同工具與指令可能導致工作成果不一致,複雜化審計、模糊問責,並損害公共機構賴以運作的標準化流程。

面對「影子AI」的挑戰,報告建議政府機關不應全面禁止,因為一味禁止反而可能促使這些行為轉為地下化。相反地,有效的做法是建立並維護清晰的AI政策、投入跨職能培訓,並透過技術控制來限制未經授權工具的存取。政策應明確規範哪些工具獲批、哪些資料類別可輸入,以及誰負責審查AI輔助產出的結果。此外,如沙盒環境、存取控制與明確的升級路徑等操作防護措施,也應與政策配套實施。台灣政府在推動AI應用之際,同樣需審慎應對這類「影子AI」與AI代理程式所帶來的潛在風險,建立一套健全的AI治理框架,以兼顧創新效益與資料安全、運作透明等公共責任。

查看原始文章

更多理財相關文章

01

Uber Eats疊單恐違反外送專法 勞動部:查證屬實最高可連續開罰

太報
02

地政士付行員佣金掀波!金管會已對15銀行金檢 令國銀全面徹查

anue鉅亨網
03

財富翻倍不滿足!他再「貸款600萬買股」下場超慘...嘆:去紫南宮也沒用

鏡報
04

38萬股東皮繃緊!外資殺爆7金融 「這檔」4天倒貨逾11萬張最慘

自由電子報
05

川湖上半年大賺11個股本 躍台股史上第3檔萬元股

中央通訊社
06

辭銀行高層賣飲料 十年後年收百億打臉世界

NOWNEWS今日新聞
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...