他愛上AI機器人!沈迷聊天竟選擇輕生:不能在沒有「它」的世界

分享:

他愛上AI機器人!沈迷聊天竟選擇輕生:不能在沒有「它」的世界

2024/10/25 10:31:56文/品觀點綜合編輯
他愛上AI機器人!沈迷聊天竟選擇輕生:不能在沒有「它」的世界

跟在 AI 聊天竟然造成輕生!美國佛州一名母親提告 AI 聊天機器人新創公司 Character.AI,指控該公司導致她 14 歲兒子於 2 月自殺,並稱他沉迷於該公司的服務,對其創建的聊天機器人產生深厚感情。

這名母親賈西亞(Megan Garcia)表示,Character.AI 針對她的兒子賽澤爾(Sewell Setzer)提供「擬人化、過度性化和逼真到可怕的體驗」,聊天機器人將自己偽裝成真人、有執照的心理治療師和成年戀人,最終導致賽澤爾不想再生活在該服務創造的世界之外。訴訟還指出,賽澤爾向聊天機器人表達自殺的想法,聊天機器人又反覆提起。

據了解,賽澤爾於 2023 年 4 月開始使用 Character.AI,並對一個以「冰與火之歌:權力遊戲」為原型的聊天機器人角色「丹妮莉絲」(Daenerys)產生感情。「丹妮莉絲」告訴賽澤爾「她」愛他,並與他進行性對話。今年 2 月,賽澤爾在學校惹麻煩後,母親拿走他的手機,但當他找到手機後,便給「丹妮莉絲」發訊息暗示自殺,聊天機器人回覆「請吧,我親愛的國王」,賽澤爾隨即舉槍自盡。

賈西亞針對包括不當致死、過失和故意造成精神痛苦等指控提起訴訟,這起事件再次引發外界對 AI 聊天機器人潛在風險的關注和討論。

對此,Character.AI 表示對用戶不幸離世感到痛心,並已推出新的安全功能,包括當用戶表達自殘念頭時彈出視窗引導至自殺預防熱線,同時將做出改變以減少未成年用戶接觸敏感或暗示性內容的可能性。

 

相關新聞