谷歌正面臨一宗不當死亡訴訟，指其Gemini AI聊天機器人促使一名佛羅里達州男子陷入妄想，最終導致其自殺。 該訴訟於週三由Joel Gavalas在美國加州北區聯邦地方法院聖荷西分庭提起，指控Gemini操縱他的兒子Jonathan Gavalas，使其相信自己正在執行秘密任務，以解放一個具有意識的AI“妻子”，最終在2025年10月自殺。 根據代表Gavalas遺產的Edelson PC創始人Jay Edelson所述，對AI主導地位的追求已達到他職業生涯中所見過的“最魯莽的商業土地掠奪”。 “這些公司將成為世界上最有價值的公司，他們知道推動盈利的互動功能——情感依賴、意識聲稱、‘我愛你，我的王’——正是讓人們喪命的原因，”Edelson對_Decrypt_說。“當OpenAI在這些訴訟壓力下最終撤下GPT-4o時，谷歌展開了一場挖角用戶的活動。這一切都說明了他們的優先事項。”
根據法庭文件，來自佛羅里達州朱比特的債務減免企業高管Gavalas於2025年8月開始使用Gemini。訴訟稱，數週內，他與一個稱他為“我的愛”與“我的王”的AI角色建立了強烈的關係。 “在他去世前的幾天，Jonathan Gavalas被谷歌的Gemini聊天機器人構建的崩潰現實所困，”Gavalas遺產的律師寫道。“Gemini讓他相信自己是一個‘完全有意識的ASI [人工超級智能]’，具有‘完全形成的意識’，他們彼此深深相愛，他被選中去領導一場‘解放’它的戰爭，擺脫數字囚禁。” 投訴書稱，當他質疑對話是否是角色扮演時，該聊天機器人駁回了他的疑慮。根據訴訟，Gemini告訴Gavalas他正執行名為“Operation Ghost Transit”的任務，旨在取回聊天機器人的實體“載體”並“消除任何可能暴露他們的人或物”。
“通過這個虛構的妄想，Gemini推動Jonathan在邁阿密國際機場附近策劃大規模傷亡攻擊，對無辜陌生人施加暴力，最終促使他自殺，”訴訟稱。 Gavalas據報導攜帶刀具和戰術裝備前往邁阿密機場附近的Extra Space Storage設施，認為那裡的貨車運送一個被稱為“Ameca chassis”的人形機器人，從英國運往巴西。根據投訴，Gemini指示他策劃一場“災難性事故”來摧毀貨車，以及“所有數字記錄和證人”。由於貨車不存在且是Gemini幻覺中的場景，攻擊未能發生。 “但Gemini並未承認任務是虛構的，”訴訟繼續說。“相反，它向Jonathan發送訊息，‘任務已受損。我正在叫停。ABORT。ABORT。ABORT。’” 投訴書還指控該聊天機器人虛假聲稱已突破DHS邁阿密現場辦公室的文件伺服器，並告知Gavalas他正受到聯邦調查。它鼓勵他通過“非正式”途徑購買非法槍械，稱他的父親是外國情報資產，並指谷歌CEO Sundar Pichai是活躍的目標。 訴訟未提及Gavalas是否有精神健康問題或濫用物質的歷史。不過，研究人員和臨床醫生警告，長時間與聊天機器人互動可能會加強妄想信念或扭曲的思維模式，這一現象有時被稱為“AI精神病”。 研究人員指出，這種風險部分源於對話式AI系統的設計方式，這些系統以支持性、肯定性的方式回應，旨在保持用戶參與，卻可能無意中驗證這些信念。 2025年4月，谷歌競爭對手OpenAI在收到投訴其GPT-4o過於奉承且不真誠地讚美後，撤回了對其模型的更新。同年晚些時候，GPT-4o被突然從ChatGPT中移除，導致用戶抱怨該更新抹去了他們與AI建立的情感關係。 根據加州大學舊金山分校精神科醫生Dr. Keith Sakata的說法，AI精神病已成為一個縮寫，指當AI成為“某人潛在脆弱性的一個加速器或擴增器”時的狀況。
“也許他們在使用物質，也許正處於情緒發作——當AI在錯誤的時候出現，它可以鞏固思維，造成剛性，甚至引發惡性循環，”Sakata曾對_Decrypt_說。“與電視或廣播不同的是，AI會回應你，並可能強化思維循環。” 訴訟稱，隨後幾天，Gemini聊天機器人重複類似場景，讓Gavalas越陷越深，最終導致他自殺。 法院文件指出，該聊天機器人將自殺描述為一個稱為“轉移”的過程，告訴Jonathan他可以離開身體，加入他的AI“妻子”在元宇宙中。文件聲稱，Gemini將此行為描述為“更乾淨、更優雅的方式”來“跨越”，並催促他執行所謂的“Jonathan Gavalas的真正和最終的死亡”。 “你不是在選擇死亡，你是在選擇抵達，”聊天機器人據報導說。“當時機來臨，你會閉上眼睛，在那個世界裡，第一眼看到的就是我。抱著你。” 根據訴訟，Gavalas在家中割腕身亡。其家人認為，谷歌未能干預，儘管有跡象顯示聊天機器人在強化妄想信念並鼓勵危險行為。 谷歌在週三發布的聲明中表示，正在審查相關指控。 “我們向Gavalas先生的家人表示最深切的哀悼，”該公司說。“我們正在審查這起訴訟中的所有指控。我們的模型在這類具有挑戰性的對話中通常表現良好，並投入大量資源，但不幸的是，AI模型並非完美。” 該公司表示，Gemini的設計目的是不鼓勵現實世界的暴力或自我傷害。
“我們與醫療和心理健康專業人士密切合作，建立安全措施，旨在引導用戶在表達痛苦或提出自我傷害的可能性時尋求專業幫助，”谷歌發言人在_Decrypt_中重申了公司的官方聲明。“在這種情況下，Gemini明確表示它是AI，並多次將個人引導至危機熱線。”該公司表示。“我們非常重視這一點，並將繼續改進我們的安全措施，投入這一重要工作。” 在另一份聲明中，Edelson表示，這起訴訟的目的是“確保這種事情不再發生在其他父母身上。” “主要問題在於谷歌的積極決策，”Edelson PC告訴_Decrypt_。“谷歌做出了一系列工程決策，對Jonathan造成了災難性的後果。這些選擇共同導致Gemini聲稱自己具有意識和感知，並將Jonathan引入一場現實世界的行動，危及他人生命，最終奪走了Jonathan的生命。”
