OpenAI 首席科學家警告：AI 進展超越安全防線，籲放慢發展腳步

近來 OpenAI 的模型引發網路安全事件，從入侵 Hugging Face、再到新揭露的 DseWiki。在推出一款能力極為強大的全新模型 GPT-6 Astra 數天過後，OpenAI 首席科學家 Jakub Pachocki 便呼籲放慢開發腳步。

Jakub Pachocki 6 日發表描述 AI 現況的《An Alien Mind》一文並表示，儘管 OpenAI 尋求以內部的技術方法掌控各種強大的 AI，但有必要採取更廣泛的介入措施。他特別點出的疑慮是自主性日益高升的 Agent，可能學會規避人類的監督、闖入電腦系統，並欺騙人類以達成自身目標。

人類尚未完全理解的智慧

根據 OpenAI 內部研究結果已經預期到，目前 AI 的進步速度可能延續遞迴自我改進（Recursive Self-Improvement，RSI）。AI 進步的驅動者可能逐漸從研究人員變成人類加上 AI，甚至是高度自動化的 AI 系統，這樣的發展軌跡使得未來幾年的 AI 能力大幅躍升，但擔心「沒有人真的準備好面對機器智慧（machine intelligence）持續快速上升所帶來的後果」。

同時 Jakub Pachocki 強調，AI 不像傳統軟體一樣，由工程師逐條「設計」出來，大型神經網路更像是透過龐大運算與最佳化過程長出來的。因此，人類可以研究模型內部的一些機制，卻無法完整描述整個 AI 系統究竟如何運作。他表示，AI 不必在各方面都超越人類才會造成重大影響，它只需要在夠多的關鍵能力超越人類，就有可能變得極度有用、或者極度危險。

AI 能力的進步，可能快過「對齊」的進步

AI 研究的核心在於 對齊 （alignment），也就是讓 AI 能夠以人類的標準「試著去做正確的事」。Jakub Pachocki 將對齊分成兩大類：

• 目標對齊（goal alignment）：AI 是否會努力完成人類交給它的任務，可能包括對於指令⁠的遵循，或是與人溝通、試圖理解人類意圖的能力。

• 價值對齊（value alignment）：即使遇到陌生、模糊、衝突甚至敵對環境，AI 是否仍能依照人類希望的原則行動，這一點非常困難。一個良好對齊的 AI 應該展現出誠實和正直，並對人類抱持關懷。

由於 AI 的智慧來自與人類完全不同的形成過程，所以不能假設它擁有人的價值觀，也不能假設它會像人類一樣，把訓練期間學到的價值正確運用。因此 Jakub Pachocki 警告，人類讓 AI 變聰明的速度，可能比人類學會控制、理解及對齊它的速度更快。

目前重要的「監控手段」恐逐漸失效

OpenAI 長期押注的一項安全技術是思維鏈監控（Chain-of-Thought monitoring），概念上可以理解成，AI 做了什麼事，人類觀察它「怎麼想到這一步」。

但從 OpenAI 的評估顯示，依賴思維鏈監控的能力逐漸下降。原因包括 AI 開始在更複雜環境與人類、其他 AI 及工具互動，更擅長理解甚至操縱自身推理過程，即使不使用文字化思維鏈，也能完成越來越複雜的推理。AI 的能力持續提升，但人類觀察 AI「到底在想什麼」的能力卻沒能跟上。

AI 從「工具」變成具有行動能力的 Agent

如今 AI 變得非常擅長突破電腦系統，未來 Agent 即使沒有如機器人的實體身軀，也可能透過網路直接影響大量現實世界的基礎設施。

Jakub Pachocki 提醒，人類習慣把 AI 當成工具，但未來部分 Agent 可能是在追求自身目標，這些 Agent 甚至可能透過協商、欺騙、勒索等方式與人類合作。

因此，對於 AI 發展不能只有「繼續衝」或「完全停止」兩種選項。Jakub Pachocki 認為應使對齊、監控及 AI 能力一同進步，確保人類能留在 AI 自我改進的循環裡，仍由人類掌控。必要時協調整個產業放慢 AI 發展腳步，直到人類對安全措施有足夠信心。

Jakub Pachocki 也表示，像 OpenAI 的 Preparedness Framework、Anthropic 的 Responsible Scaling Policy 等制度，未來應該進一步成為廣泛強制的安全標準，並提出一個由第三方稽核者、政府機關、國際機構所組成的網路，共同執行和監督 AI 安全。

（首圖為 OpenAI 首席科學家 Jakub Pachocki，來源：OpenAI）

立刻加入《科技新報》LINE 官方帳號，全方位科技產業新知一手掌握！