AI 不是專業心理治療 Google 針對未成年人設三大 AI 保護機制
越來越多用戶將與AI的對話當成心理諮商，討論自殺甚至研究犯罪可能，使AI與心理健康議題日趨重要。Google今天公布旗下Gemini平台在心理健康工作的最新進展，包括簡化需要協助者的尋求支援流程、投資3,000萬美元支援諮詢熱線等擴大危機支援項目等。特別是針對未成年人，Gemini設三大保護機制，避免AI成為類似人類的存在，減少AI模擬親密關係對話，並避免AI鼓勵網路霸凌。
Google指出，Gemini是學習和獲取資訊的實用工具，但對於需要幫助的人來說，它不能取代專業的臨床照護、心理治療或危機支援。正持續訓練Gemini協助辨識對話中是否透露出使用者正處於急性心理健康狀況，並做出適當的回應，將他們引導至現實世界中的醫療資源。
Google公布新措施包括更新Gemini介面，為需要協助的使用者簡化尋求支援的流程。當對話內容顯示使用者可能需要心理健康相關資訊時，Gemini將會主動顯示一個經過重新設計、並與臨床專家共同開發的「你可以尋求協助」模組，藉此提供更有效、更即時的照護資源連結。
Gemini將以「一鍵式」介面，讓使用者能立即連結至危機熱線資源。使用者可以選擇透過文字對話、撥打電話、傳送簡訊或造訪危機熱線網站尋求協助。一旦該介面被觸發，在接下來的對話過程中，尋求專業協助的選項將會持續且清楚地顯示。
另外，Google.org宣布將於未來三年內在全球投入3,000萬美元的資金，用以支援全球各地的諮詢熱線機構有效擴充量能，為處於危機中的人們提供即時且安全的支援。
Google指出，正關注三個面向，包括優先考量安全性與人際連結，透過引導使用者連結現實世界中的資源與專人支援，提供實質的幫助。設計更理想的回應方式，鼓勵使用者尋求協助，同時避免認同或合理化自殘衝動等有害行為。也對Gemini進行訓練，使其不附和或強化錯誤信念，溫和地協助使用者區分主觀感受與客觀事實。
在未成年人部分，Google設三大保護機制，避免接觸有害主題。包括人設保護機制，防止Gemini表現得像是一個人類伴侶，防止模型自稱為人類或聲稱擁有屬人特徵的安全防護網；以及防止情感依賴，模型會避免使用模擬親密關係或表達自身需求的語言；防範霸凌與騷擾機制，設有安全措施，防止鼓勵霸凌或其他形式的騷擾。