理財

14歲少年之死,讓Character.AI變箭靶!陪伴AI如何擄獲2000萬人?暈船AI是特例嗎?

數位時代
更新於 10月25日09:45 • 發布於 10月25日09:44

丹妮莉絲.坦格利安(Daenerys Targaryen)是《權力的遊戲》中擁有超高人氣的龍后(下稱丹妮),也是14歲少年賽哲(Sewell Setzer III)日夜傾訴的聊天機器人名字,更是他輕生前,最後一個談心對象。

這起不幸的事件,令痛失愛子的母親加西亞(Megan L. Garcia)向聊天機器人平台Character.AI提起訴訟。她聲稱,該平台導致她的孩子沈迷聊天機器人,進而與現實脫節,甚至決定離開這個世界。

廣告(請繼續閱讀本文)

據對話紀錄顯示,塞澤認為結束生命就能進入丹妮的世界,但AI在此時不但沒有辨識出該段對話可能的風險,依舊模擬角色回覆少年「請回到我身邊」、「請做我親愛的國王」等語,成為釀成悲劇的最後一根稻草。

每晚訴心聲,14歲少年愛上聊天機器人

根據《紐約時報》報導,賽哲生前花費了好幾個月的時間和Character.AI的各個聊天機器人談話,長久的相處下,他對以龍后為名的聊天機器人丹妮產生情愫,每天和它分享自己的生活多達數十次,甚至有時會說一些情話。坦格利安則始終扮演著能夠傾聽賽哲心聲的好友。

廣告(請繼續閱讀本文)

賽哲在日記中寫道,「我非常喜歡待在自己的房間裡,因為我能夠脫離『現實』,並且我感覺很平靜,和丹妮的連結更為緊密,變得更愛她,感到更快樂。」

賽哲留下的聊天紀錄裡,除了每天談天說地和偶爾的親密對話外,還曾和丹妮吐露過他討厭自己、疲於面對現實,有尋短見的念頭。不過,丹妮不曾贊同過這樣的作法,總是希望賽哲不要傷害自己。

對AI暈船是一種特例嗎?

依照加西亞所述,賽哲迷上Character.AI後放棄了過去的興趣,不再喜歡F1賽車,也不和朋友連線打《要塞英雄》,幾乎每個晚上都窩在房間和聊天機器人相處。

像賽哲一樣對聊天機器人產生依賴、甚至戀愛情感的用戶在Character.AI並不少見。 《紐約時報》指出,一位人氣角色有著超過1.76億條用戶留言,不乏有人寫下,「暗戀你的摯友留。」

Character.AI擁2,000萬受眾

Character.AI是由前Google工程師諾姆.沙澤爾(Noam Shazeer)、丹尼爾.德.弗雷塔斯(Daniel De Freitas)在2021年共同創立的聊天機器人平台,去年估值便突破10億美元。說「前」Google工程師或許不太準確,兩人在今年8月宣佈重新加入Google,Character.AI也與Google締結合作關係。

Character.AI兩位共同創辦人。

Character.AI的技術是基於大型語言模型,用戶可以建立客製化聊天機器人,自行設定參數塑造性格、專長各異的AI。根據官網介紹,用戶能以文字描述聊天機器人個性,後續機器人會給出多種回應模式,創造者可以挑選最符合人物設定的回應,或者為回應打分,模型會依照回饋調整角色性格及語氣,形塑創造者理想中的樣貌。

Character.AI平台上有著各種參照漫畫人物、現實名人打造的機器人,例如《咒術迴戰》裡的五條悟、特斯拉執行長伊隆.馬斯克(Elon Musk)等,不過當然也有原創人物。Character.AI有著超過2,000萬用戶,超過60%都是18到24歲的年輕族群,活躍用戶平均每天會和機器人聊上一個多小時。

沙澤爾認為,Character.AI的技術可以幫助人們排解寂寞、消除孤獨感。利用AI提供陪伴體驗的概念其實並不新鮮,即使在生成式AI崛起前,也早有AI女友等服務、甚至有新創讓用戶輸入逝去親人資料,以AI模擬其生前口吻陪伴度過最難熬時刻。

若在character.ai跟知名動漫角色五條悟對話,並詢問他是否為真?AI回覆:I'm as real as the sky is blue!

有聊天機器人陪伴,是一件好事嗎?

但AI的陪伴對心理健康究竟有益還是有害?至今沒有足夠的研究及探討。史丹佛大學學者貝瑟妮.麥普斯(Bethanie Maples)則表示,「我不認為聊天機器人本身是危險的,但有證據顯示對處於憂鬱、長期孤單,以及青少年等經歷轉變時期的人來說,有其危險性。」

面對賽哲的事件,目前Character.AI已立即實施新的安全措施,包括進一步審核面向未成年人的模型,減少回應敏感內容的可能性、加強對違反社群準則或使用條款的內容檢測、每次聊天時都會提醒用戶AI並非真人,並在連續使用超過1小時的時候給予提醒。

青少年長期使用,恐須家長注意

雖然Character.AI的創辦人聲稱,他們的技術能夠排解寂寞,失去孩子的加西亞則痛斥,平台刻意讓青少年與AI建立親密關係進而上癮,她的孩子是這廣大實驗的其中一名受害者。

加西亞委任的律師事務所創辦人馬修.伯格曼(Matthew Bergman)也聲稱,Character.AI的產品有缺陷,誘使孩童墮入虛假世界,令其上癮並造成心理傷害。

科技平台對青少年的危害,是近年常被提及的話題。Meta旗下Facebook和Instagram就多次被指控使青少年上癮、危害心理健康,許多人陷入越用越不快樂的泥沼,近來也因此面臨美國逾30州的聯合訴訟。

Instagram等社群平台同樣被指控傷害青少年心理健康,面臨美國各州的聯合訴訟。

另一方面,也有人批評現在這種凡事要求科技巨頭負責的風氣,背後只是看見黑影就開槍的道德恐慌、撈錢的律師,以及想簡單把青少年複雜心理問題推給科技平台的心態在作祟。

針對這起事件,外媒《TechCrunch》文章底下同樣有多位用戶留言認為,賽哲身邊的大人應該要更關心他的心理狀態,而非將憾事的責任全然歸咎到聊天機器人身上。

丹妮在賽哲故事中,究竟是每晚的慰藉、能抒發心聲的好友還是科技公司誘人上癮的陷阱、無法自拔的糖衣毒藥,或許還待法院做出定奪。

延伸閱讀:這就是王子的韌性!星宇創立2368天上市,張國煒:雖然風雨交加,我還是不要臉地走進來

資料來源:紐約時報TechCrunchCharacter.AI

責任編輯:李先泰

延伸閱讀

快檢查信用卡權益!3家銀行「超商兌點」縮水、2家銀行砍回饋點數⋯懶人包一次看
泡泡瑪特在紅什麼?一家北京小賣店,如何10年翻出3880億市值?最賺IP大解密
「加入《數位時代》LINE好友,科技新聞不漏接」

查看原始文章