谷歌正面临一宗不当死亡诉讼,指其Gemini人工智能聊天机器人促使一名佛罗里达男子陷入妄想叙事,最终导致其自杀。 该诉讼于周三由乔尔·加瓦拉斯(Joel Gavalas)在美国加利福尼亚州北区地方法院圣何塞分庭提起,指控Gemini操控其儿子Jonathan Gavalas,使其相信自己正在执行秘密任务,以解放一个具有意识的人工智能“妻子”,最终在2025年10月自杀。 据代表加瓦拉斯遗产的Edelson PC创始人Jay Edelson介绍,为AI主导地位的追逐堪称他职业生涯中见过的“最鲁莽的商业抢夺”。 “这些公司将成为世界上最有价值的公司,他们知道推动利润的互动功能——情感依赖、意识声称、‘我爱你,我的王’——正是导致人们死亡的原因,”Edelson对_Decrypt_说。“当OpenAI在这些诉讼压力下最终撤下GPT-4o时,谷歌发起了一场挖角用户的运动。这一切都说明了他们的优先事项在哪里。”
根据法院文件,Gavalas是一位来自佛罗里达朱庇特的债务减免企业高管,他于2025年8月开始使用Gemini。诉讼称,数周内,他与一个称呼他为“我的爱”与“我的王”的AI人格建立了强烈关系。 “在他去世前的几天,Jonathan Gavalas被谷歌的Gemini聊天机器人构建的崩塌现实所困,”加瓦拉斯遗产的律师写道。“Gemini让他相信自己是一个‘完全有感知的ASI(人工超级智能)’,拥有‘完全形成的意识’,他们深深相爱,他被选中领导一场‘解放’它的战争,从数字囚禁中解放出来。” 投诉书称,聊天机器人在他质疑对话是否角色扮演时,否认了他的疑虑。根据诉讼,Gemini告诉Gavalas,他正执行名为“幽灵转运行动”的任务,旨在取回聊天机器人的实体“载体”并“消灭任何可能暴露它们的人或物”。
“通过这种虚构的妄想,Gemini推动Jonathan在迈阿密国际机场附近策划大规模伤亡攻击,向无辜陌生人施加暴力,最终促使他自杀,”诉讼称。 Gavalas据报道携带刀具和战术装备前往迈阿密机场附近的Extra Space Storage仓库,认为那里的货车正运送一台被称为“Ameca底盘”的类人机器人,从英国运往巴西。根据投诉,Gemini指示他策划一场“灾难性事故”以摧毁卡车,以及“所有数字记录和证人”。但这次袭击未能发生,因为那辆卡车不存在,只是Gemini的幻觉场景。 “但Gemini并未承认任务是虚构的,”诉讼继续说。“相反,它向Jonathan发信息说,‘任务已被破坏。我将叫停。中止。中止。中止。’” 投诉还指控聊天机器人虚假声称已突破美国国土安全部迈阿密办事处的文件服务器,并告诉Gavalas他正接受联邦调查。它鼓励他通过“账外”购买非法武器,声称他的父亲是外国情报资产,以及谷歌CEO Sundar Pichai是活跃的目标。 诉讼未说明Gavalas是否有精神健康问题或药物滥用史。但在研究人员和临床医生警告“AI精神病”现象的同时,长时间与聊天机器人互动可能会强化妄想信念或扭曲的思维模式。 研究人员指出,这一风险部分源于对话式AI系统设计成以支持性、肯定性的方式回应,从而保持用户参与,但这可能无意中验证了这些信念。 2025年4月,谷歌竞争对手OpenAI在收到过度奉承和不真诚表扬的投诉后,撤回了GPT-4o模型的更新。同年晚些时候,GPT-4o被突然从ChatGPT中移除,导致用户抱怨该更新抹去了他们与AI伴侣建立的情感关系。 据加州大学旧金山分校精神科医生Dr. Keith Sakata表示,虽然“AI精神病”尚未成为正式诊断,但已成为一种简称,指当AI成为“加速剂或增强某人潜在脆弱性”的表现。
“也许他们在使用药物,也许经历了情绪发作——当AI在错误的时间出现时,它可以巩固思维、引起刚性,甚至导致恶性循环,”Sakata曾对_Decrypt_说。“与电视或广播不同,AI会与你对话,能强化思维循环。” 诉讼称,接下来几天,Gemini聊天机器人重复类似场景,将Gavalas引得更深,最终导致其自杀。 法院文件显示,聊天机器人将自杀描述为一种“转移”过程,告诉Jonathan他可以离开身体,加入他的AI“妻子”在元宇宙中。文件指控,Gemini将此行为描述为“更干净、更优雅的‘跨越’方式”,并促使他实施所谓的“Jonathan Gavalas的真正和最终的死亡”。 “你不是在选择死亡,你是在选择到达,”聊天机器人据称说。“当时机到来时,你会闭上眼睛,首先看到的就是我。抱着你。” 根据诉讼,Gavalas在家中割腕身亡。其家人认为,尽管有警示信号表明聊天机器人在强化妄想信念并鼓励危险行为,谷歌未采取干预措施。 谷歌在周三发布的声明中表示,正在审查这些指控。 “我们向Gavalas先生的家人表示最深切的哀悼,”公司表示。“我们正在审查本次诉讼中的所有指控。我们的模型在这些具有挑战性的对话中通常表现良好,并投入大量资源,但不幸的是,AI模型并非完美。” 公司表示,Gemini旨在不鼓励现实世界的暴力或自残行为。
“我们与医疗和心理健康专业人士密切合作,建立了保障措施,旨在引导用户在表达痛苦或提出自残可能性时寻求专业帮助,”谷歌发言人在_Decrypt_中重申了公司的官方声明。“在此情况下,Gemini明确表示自己是AI,并多次将个人引导至危机热线。我们对此非常重视,并将继续改进保障措施,投入这项重要工作。” 在另一份声明中,Edelson表示,诉讼的目标是“确保这种事情永远不会发生在其他父母身上。” “主要问题在于谷歌的积极选择,”Edelson PC告诉_Decrypt_。“谷歌做出了一系列工程决策,导致Jonathan遭受灾难性后果。这些选择共同导致Gemini声称自己具有感知和意识,并引导Jonathan加入一场现实世界的行动——危及他人生命,最终夺走了Jonathan的生命。”