【沒人負責就不准上線】專家建議員工自建 AI 工具「先指定負責人」，並在執行階段持續監控
當員工能自行用 AI 打造工具，企業內部究竟有哪些系統在運作、由誰負責，就變得難以掌握。
AI、低程式碼（low-code）工具與自動化普及後，更多員工能自行開發應用程式與工作流程，實驗與解決問題的速度變快了，企業卻也累積出一層持續增加、難以追蹤、保護與維護的技術。
每個 AI 工具上線前，都要有人負責
事實上，這並不是企業第一次把建置權交給業務人員。開發代理人協作平台與治理工具的 OneReach.ai 在其發表的分析中指出，十年前的機器人流程自動化（RPA），也曾讓最了解流程的人自行打造自動化工具。差別在於，RPA 機器人很脆弱，介面一變就會出錯停擺，問題反而容易被發現；AI 代理人則能繞過障礙、找到替代路徑繼續行動，一旦超出原定範圍，產生的不是錯誤，而是沒有人核准過的結果。
針對這道治理缺口，外媒 Forbes 邀集由 CIO、CTO 等科技高階主管組成的社群專家，提出防護建議，其中不少專家都提到「指定負責人」。
軟體開發服務 NEWWORK Software 的 Michael Jaszczyk 主張，沒有具名負責人的 AI 代理人一律不得上線。每個代理人都應有明確的角色與管理者，權限只限於角色實際需要的範圍。任何動作在觸及核心紀錄系統前，都必須通過政策檢查，並能追溯到負責的員工。
除了 Forbes 邀請的這批專家，OneReach.ai 則在自家分析中，對「負責人」的要求更細：負責人必須是個人而非團隊，除了為代理人的行為負責，也要在代理人不再需要時將它下架。在權限設計上，代理人應使用專用的服務帳號登入，而非沿用建置者的個人帳密，並依最小權限原則，只開放完成任務所需的存取權。
AI 與資料決策治理顧問公司 Hawksroost 的 Chris Jay Hawkinson 則建議，每個員工自建的工具（又稱公民開發）都要先回答一個問題：「這個工具做出的決策，由誰負責」，答不出名字，就不准上線；他認為，審核關卡與登記庫之所以失效，是因為沒有人對登錄的項目負責。決策歸屬則不會失效，因為問責本身就會留下紀錄。
AI 工具要在看得見的地方運行
有了負責人，企業還必須隨時看得到這些工具在做什麼。美國低程式碼流程自動化平台業者 Appian 的 Gregg Aldana 主張，所有 AI 代理人、低程式碼應用與自動化，都必須透過受治理的協作層運行，並具備具名負責人、權限邊界、稽核軌跡，以及緊急停止開關（kill switch）。他指出，登記庫只能告訴企業昨天有什麼，執行階段的治理才能告訴企業現在有什麼正在運作。
醫療 AI 與資料平台公司 Innovaccer 的 Abhinav Shashank 進一步說明需要掌握的內容，包括工具讀取哪些資料、做出哪些決策，以及能自行執行哪些動作。讀取與執行屬於不同層級的權限，因此要分開記錄。這些紀錄都必須在工具建立時就完成，否則要等系統出問題，企業才會知道有什麼在運作。
網路可視性解決方案業者 Gigamon 的 Shane Buckley 也認為，可視性是第一道防線。企業要看清正在運作的應用程式、代理人與自動化，以及它們存取哪些系統與資料、採取哪些行動。看不見，就無法治理。
監控、登記與金鑰管理，各自對應不同風險
在可視性的基礎上，專家也針對不同風險提出具體機制。AI 客服平台 Sainapse 的 Abhirup Ghosh 指出，程式碼越容易生成，就越需要工具來驗證與控管。他建議把高風險工作交給前沿模型處理，並讓這些前沿代理人負責監控其他代理人。
雲端檔案儲存服務商 Nasuni 的 Nick Burling 則主張，建立強制性的 AI 資產登記庫。凡是用 ChatGPT、Claude、Copilot 或其他低程式碼與自動化工具產出的成果，都要以受治理的企業檔案保存，記錄擁有者、用途、版本、存取控管與審查日期，部署前也須經過核准。
存取憑證則是另一個風險來源。專注身分與帳密外洩防護的資安公司 SpyCloud 的 Damon Fleury 指出，AI 與低程式碼工具會大量使用 API 金鑰、權杖與服務帳號，形成「影子存取」，也就是沒有人刻意開通、也沒有人負責或監控的特權連線，攻擊者已在利用這個漏洞。他建議在開通時就指定具名負責人，管理存取清單，並持續監控。
開放建置的速度，問責也要跟上
綜觀這些建議，登記庫與可視性被多位專家視為治理的起點，但只靠事後檢查並不夠。OneReach.ai 進一步指出，傳統做法把治理當成建置完成後的檢查點，等到審查時，代理人早已上線，連線與預設值也已設定完成。它主張改採「治理即設計」，在建置當下就由架構強制套用存取控管、紀錄與資料處理規則。
企業級 AI 營運公司 Droma 的 Casey Kindiger 則更進一步，認為登記庫、負責人與停止開關仍屬於控制機制，而控制無法隨員工自建 AI 的規模擴大。他主張以模型上下文協定（MCP）等標準統一工具層，再把信任設計成可衡量、依情境調整的架構原則，讓 AI 的自主權能依據證據與風險被授予、擴大或撤回。
採購與支出管理軟體公司 Vroozi 的 Shaz Khan 則指出，速度不應超越問責。資安技能培訓平台 Hack The Box 的 Haris Pylarinos 也認為，當 AI 與低程式碼工具讓更多員工能自行建置，資安能力必須與開發速度同步擴充。
【推薦閱讀】
◆ 【影子 AI 治理危機】AI 政策沒人遵守，高管隱瞞 AI 使用的比例是基層員工 2 倍
◆ 企業 AI 太難用，員工就自己找工具？企業治理影子 AI 的 90 天解法
◆ 影子 AI 2.0 來臨？專家揭「設備端推理」為何成為資安長新盲點
＊本文開放合作夥伴轉載，參考資料：Forbes、One Reach.ai，首圖來源：Gemini 生成
（責任編輯：鄒家彥）