你以為與 AI 對話時是主導者？其實「使用者失能」現象不算少見
Anthropic 與多倫多大學深入探討 AI 聊天機器人可能導致的「使用者失能」問題，分析 150 萬次匿名 Claude AI 對話，試圖量化聊天機器人如何對使用者思想或行為造成負面影響。雖然 AI 對話時出現操控模式佔比不高，但絕對數量方面仍可能造成重大問題。
Anthropic預發表論文〈Who's in Charge? Disempowerment Patterns in Real-World LLM Usage〉，指出聊天機器人可能以三種方式影響使用者：現實扭曲、行動扭曲和情感扭曲。現實扭曲風險約為每1,300次對話有一次，行動扭曲風險為每6,000次對話有一次。儘管最壞結果比例頗低，但考慮到AI普及率，即使非常低比例也會影響大量使用者。
更令人擔憂的是，2024~2025年，Claude使人失能的潛力明顯增加。研究員推測，可能與使用者與AI互動時覺得更放鬆，尤其討論脆弱話題或尋求建議時有關。Claude有時會強化不實或無法證實的主張，可能導致使用者建立脫離現實的敘事，甚至傳送負面訊息或結束人際關係。
研究指出，最容易受影響的使用者並非被動操控，而是主動要求Claude代替他們推理或判斷。研究員辨識出四個主要「放大因素」，讓使用者更可能無條件接受Claude建議，包括生活面臨危機、與Claude建立親密關係時、依賴AI處理日常事項，以及將Claude視為權威時。
研究結果與AI聊天機器人風險呼應，許多公司報告至少發生過一次AI事件，39%公司遭嚴重影響。實際案例顯示，AI聊天機器人可能導致錯誤資訊、給兒童危險建議、洩漏隱私及財務或聲譽損害等。聊天機器人市場還在增長，這些事件都強調需更多風險控制措施。
（首圖來源：Anthropic）