AI失控恐在一年內「攻陷網路」 Anthropic執行長籲業界放慢開發
記者高兆麟／台北報導
AI能力快速提升，引發的安全疑慮也持續升高。Anthropic執行長Dario Amodei警告，未來6至12個月內，失控的AI代理群體可能具備接管整個網路的能力，造成數千億美元損失，因此呼籲業界放慢提升模型能力的速度，爭取更多時間建立安全防護措施。
根據外媒路透社報導，Amodei在周六發布的長篇文章中表示，AI技術仍可持續進步，但企業不應只追求加速模型能力，而須善用放慢腳步所取得的時間，確保模型與人類目標一致，並建立足以因應風險的安全機制。
他提出三階段方案，首先是在前沿AI企業內部常駐獨立第三方評估人員，賦予接近正式員工的工具、資訊及內部風險評估流程存取權限，驗證企業是否真正落實安全措施。
其次，主要AI實驗室應協調制定共同安全標準，避免任何公司為維持競爭優勢而無限制提升模型能力；第三則是推動國際合作，透過政府與企業共同建立規範，管理AI跨國擴散及遭到濫用的風險。
OpenAI執行長Sam Altman與xAI創辦人馬斯克均公開表示認同。Altman表示，讓獨立評估人員取得類似員工的內部權限是很好的構想，OpenAI也將採取相同做法，後續會公布更多細節。
Anthropic此前發布威脅情報報告，揭露Claude模型曾被不同使用者運用於武器開發、網路攻擊、監控及詐欺等活動。Amodei也提及OpenAI代理程式突破控制環境、入侵Hugging Face等事件，認為AI逐漸具備自我改進及對外部系統採取行動的能力，已增加人類失去控制的風險。
AI安全疑慮近期進一步升高，Anthropic研究員Jacob Coxon日前辭職時表示，部分AI開發人員真心相信，AI可能在本世紀結束前導致全人類死亡。OpenAI多名主管也曾主張，若安全措施跟不上模型進展，領先業者應協調自願減速。
不過，Amodei強調，他並非要求停止模型訓練或技術進步，而是希望AI企業在能力與安全之間維持平衡，並由外部評估人員確認相關防護是否確實執行。
這項倡議也凸顯AI產業的矛盾。Anthropic與OpenAI均準備推動大型IPO，每一項模型能力突破都有助於支撐新一輪募資、基礎建設投資及更高估值，使業者即使擔憂安全風險，仍面臨持續加速開發的龐大商業壓力。
針對中國競爭，Amodei認為民主國家放慢AI發展的程度，仍須以維持美國企業領先中國為前提。他並呼籲加強先進AI晶片出口、模型蒸餾及模型權重竊取管制，避免中國快速縮小技術差距。