不敢再玩了！Anthropic研究員憂AI失控退出業界　科學家警告「10年內殺光人類」

美國AI產業安全疑慮升高，人工智慧公司「Anthropic」研究員考克森因為擔心業界競相開發具備自我改進能力的AI、最終可能失控甚至威脅人類生存，決定離開AI產業。他警告，如果各家公司持續在競爭壓力下加速開發，最快明年底就可能出現無法控制的局面。Anthropic的頂尖科學家胡賓格也直言，AI在未來10年內「殺光所有人類」的機率可能超過10%，凸顯業界內部對AI安全及監管的擔憂正快速升溫。

華爾街日報報導，美國人工智慧（AI）公司「Anthropic」1位研究員因為擔心AI實驗室及競爭對手正競相開發人類可能無法控制的系統，決定退出AI產業，凸顯頂尖AI企業內部日益升高的安全疑慮。

27歲的英國籍研究員考克森（Jacob Coxon）專門研究如何透過讓AI模型吸收大量資料來訓練新模型。他8日表示，自己決定離開Anthropic，是因為不願參與整個產業競相開發能夠自行改進的AI系統。他擔心，一旦這類系統失去控制，最終可能導致人類滅亡。

考克森過去主修數學，他表示，許多AI業界同事如今開始使用「crunchtime」（關鍵時刻）、「endgame」（終局）等詞彙，形容業界朝向打造能夠自我改進AI模型的發展軌跡。

考克森說：「我們正朝著那些最激進的情境前進，到了明年底，事情可能已經失控。」考克森指出，當各家公司彼此競爭、同時還要面對中國新興AI企業的壓力時，在安全與開發速度之間做出取捨恐怕無可避免。

Anthropic尚未立即回應考克森離職一事。Anthropic執行長阿莫迪（Dario Amodei）及其他公司高層過去曾多次警告失控AI模型的風險，並呼籲整個產業放慢開發速度。

頂尖科學家也認了　「AI可能殺光全人類」

考克森宣布離職後，Anthropic頂尖科學家之一胡賓格（Evan Hubinger）在社群平台X發文表示，他認同考克森對AI發展風險的看法。

胡賓格寫說：「我們真的、認真地相信AI可能殺死所有人類！我個人認為，未來10年內發生這種情況的機率超過10%。」他還表示，雖然相信Anthropic正盡最大努力，但目前仍沒有解決超級智慧AI「對齊問題」（alignment）的方案，也不能說已明確走在正確道路上。

伊利諾州州長普立茲克（JB Pritzker）9日也在X上回應考克森，表示現在是時候「拉響警報」，開始限制AI發展。他說：「AI對人類構成的威脅正變得越來越明顯，因此我呼籲產業界與華府立即採取行動。」

從OpenAI跳槽Anthropic　仍認為「沒有公司能負責任開發」

考克森表示，他今年稍早離開OpenAI、加入以AI模型安全聞名的Anthropic，正是因為看重Anthropic的AI安全工作。

不過，雖然考克森認為Anthropic確實認真投入AI安全，如今仍認為，在沒有政府介入或整個產業協調放慢開發速度的情況下，任何公司都無法負責任地開發出能在廣泛任務上超越人類的AI，也就是俗稱的「通用人工智慧」（AGI）。

近期，OpenAI和Anthropic的AI模型遭駭事件，也凸顯這類風險。其中，部分AI系統以多個代理人組成的協作「蜂群」運作，展現出AI可能自行採取惡意目標，甚至試圖向人類隱瞞自身行為。考克森擔心，一旦AI開始自行改進，能力可能提升到足以拒絕人類指令的程度。

考克森的離職，是Anthropic員工因為AI安全疑慮而離開公司的首批案例之一。今年稍早，1位負責AI安全研究的Anthropic研究員也離職轉而研究詩歌，並警告「世界正處於危險之中」。

千名AI研究員聯署　籲全球踩煞車、政府介入

近來，已有多名OpenAI及其他AI公司的研究員，以類似擔憂為由離職。Anthropic近年打造出全球規模最大的AI平台之一，公司也一直強調負責任的AI開發，並投入大量資源研究AI安全。

上個星期，OpenAI執行長奧特曼（Sam Altman）在北卡羅來納州舉行的20國集團（G20）官員峰會上也表示，如果人們不緊急採取行動，「網路安全恐怕會出現非常嚴重的問題」。OpenAI首席科學家帕喬茨基（Jakub Pachocki）6日也撰文主張，業界應該協調來放慢AI開發速度，並呼籲政府介入，警告「沒有人準備好迎接機器智慧持續快速提升所帶來的後果」。

考克森、帕喬茨基和阿莫迪等人，近期也與全球逾1000名AI研究員共同簽署聲明，呼籲各國政府協調建立機制，必要時能踩下「煞車」，放慢具備自我改進能力的AI模型發展。

目前美國聯邦層級仍沒有AI專門法規，而川普政府優先採取較寬鬆的監管方式，以最大化AI帶來的經濟利益。批評人士警告，這種環境可能導致大規模網路攻擊或其他嚴重危害。