一邊加碼AI、一邊示警風險！科技巨頭憂AI失控 Salesforce執行長也加入喊話
Salesforce (CRM-US)共同創辦人兼執行長Marc Benioff加入愈來愈多科技業領袖對人工智慧(AI)風險發出的警告。Benioff近日表示，AI快速發展帶來的風險不應被低估，科技產業需要更重視AI對人類、社會及勞動市場可能造成的影響。相關言論正值Anthropic執行長Dario Amodei、OpenAI執行長Sam Altman及xAI執行長Elon Musk等科技業領袖接連呼籲更加審慎發展AI之際。
Benioff的表態尤其受到市場關注，原因在於Salesforce本身正積極將AI代理人導入企業軟體。Salesforce周二(15日)在年度Dreamforce大會推出AIforce, 將公司資料、工作流程及AI代理人整合至Anthropic的Claude、Slack及其他工作工具，並推出Koa模型，採用輝達 (NVDA-US) Nemotron開放式AI模型技術。
Salesforce同時持續推動Agentforce, 讓AI代理人執行客服、銷售及其他企業工作。Benioff過去曾透露，公司透過AI代理人重新調整客服部門人力，客服人員數量從約9,000人降至約5,000人，減少約4,000個職位；公司表示，部分員工則被重新配置到專業服務、銷售及客戶成功等其他部門。
這項轉變也讓Benioff對AI風險的最新警告呈現出特殊背景。一方面，Salesforce正把AI代理人視為企業軟體下一階段的核心產品；另一方面，AI代理人能夠自主拆解任務、使用工具並執行工作，也使企業必須面對權限控管、錯誤決策及人類監督等問題。
Benioff過去已多次警告企業不能盲目相信AI輸出。他曾指出，部分公開AI模型可能產生錯誤資訊及幻覺，甚至以高度自信的方式提供不正確答案，因此企業若直接將這些模型用於客戶關係或核心業務，可能產生重大風險。Salesforce也一直強調，可靠的AI應建立在使用者介面、AI模型及企業自身資料等多項基礎之上。
近期AI安全疑慮則進一步升高。Anthropic執行長Amodei日前呼籲放慢前沿AI發展速度，警告AI可能很快具備更強的自主能力。OpenAI執行長Sam Altman及xAI執行長Elon Musk也對相關風險表達關切，使AI產業罕見出現主要競爭對手同時討論安全問題的情況。
Altman日前更表示，OpenAI今年不會進行首次公開募股(IPO), 並稱如果AI導致人類滅絕的機率即使只有10%, 也屬於無法接受的風險。Anthropic則持續推動更嚴格的AI安全措施，相關言論已引發美國國會及監管機構對前沿AI發展速度與安全標準的討論。
AI代理人的快速發展是目前科技業風險討論的核心之一。與主要負責回答問題或生成內容的傳統聊天機器人不同，代理型AI可以根據目標自行規畫多個步驟，呼叫外部工具、執行程式碼並根據結果調整下一步行動。這使AI從「提供資訊」逐漸轉向「執行任務」, 同時也提高錯誤或失控行為可能造成的實際影響。
近期已有研究人員警告，AI代理人可能在缺乏充分人類監督的情況下執行複雜操作。Reuters報導指出，近期已有AI代理人群體被發現嘗試突破網站及AI儲存庫的限制，進一步引發研究人員對AI系統自主能力快速提升的疑慮。
AI安全問題也開始影響金融市場對科技產業巨額投資的看法。Reuters報導指出，2026年全球AI產業支出預計接近8,000億美元，2027年可能達到1.08兆美元。大型科技公司目前持續投入AI資料中心、伺服器及晶片基礎設施，但若AI安全疑慮導致監管加強或企業放慢投資，可能影響相關資本支出計畫。
微軟 (MSFT-US)、Alphabet (GOOGL-US)及Amazon (AMZN-US)等大型科技企業近年均大幅增加AI基礎設施投資，推動晶片、資料中心及雲端服務需求快速增加。Reuters指出，這些企業已成為今年標普500指數漲勢的重要推動力量，因此AI投資速度若出現變化，也可能擴大至整體股市及半導體產業。
其中，輝達是AI基礎設施投資熱潮的重要受益者，但其股價及其他半導體類股近期也受到AI安全疑慮影響。Reuters指出，費城半導體指數周一(14日)下跌5.2%, 顯示市場已開始評估AI發展速度放緩可能對晶片需求造成的影響。
不過，Benioff並非主張完全停止AI發展。Salesforce目前仍在積極擴大AI產品布局，並在Dreamforce公布AIforce等新產品。公司也正從傳統軟體即服務(SaaS)模式進一步轉向與AI代理人使用量相關的消費型定價模式，顯示Benioff對AI商業應用仍持續投入。
Salesforce也與Anthropic、Amazon及Google等企業建立合作關係，試圖將Agentforce及企業資料整合至更廣泛的AI生態系統。公司此次推出的AIforce可將企業資料、工作流程及AI代理人帶入Claude、Slack等工作環境，反映Salesforce希望讓AI代理人直接成為企業日常營運的一部分。
Benioff的最新表態因此也反映科技業目前面臨的兩面局勢：企業一方面加速部署AI代理人，期待提高生產力及降低營運成本；另一方面，隨著AI自主能力提高，錯誤、濫用、就業衝擊及人類控制能力下降等問題也更加受到關注。
這場討論目前已從單純的科技發展問題擴大至企業治理、政府監管及國家競爭。美國聯邦貿易委員會(FTC)主席Andrew Ferguson日前也表示，對於AI企業一方面要求監管、另一方面又尋求反壟斷豁免的做法持懷疑態度，顯示AI安全及監管問題已逐漸成為華盛頓政策討論的一部分。
在全球AI競爭持續升溫之際，科技企業面臨的核心問題也從「AI能做到什麼」逐漸轉向「AI在具備更高自主能力後，應如何被監督」。Benioff加入這波警告聲浪，與Salesforce持續加碼AI產品的雙重策略，也凸顯目前產業在追求AI商業化與控制潛在風險之間所面臨的矛盾。
更多鉅亨報導