OpenAI 新增 ChatGPT 危机对話偵測,提升自殘暴力预警能力

Market Whisper

ChatGPT危机对話偵測

OpenAI 于 5 月 15 日宣布推出新的安全功能,提升 ChatGPT 识别与自杀、自残及潜在暴力相关预警信号的能力;新功能采用临时“安全摘要”机制,通过分析对话随时间形成的上下文,而非单独处理每条讯息。此次更新同期,OpenAI 正面临多起诉讼和调查。

“安全摘要”功能的确认技术规格

根据 OpenAI 部落格文章,新安全摘要机制的确认规格如下:

功能定义:范围较窄的临时笔记,捕捉早期对话中的相关安全上下文

启用条件:仅在严重情况下使用,非永久记忆,不用于个性化聊天

侦测重点:自杀、自残及对他人施加暴力的相关情况

主要用途:侦测对话危险迹象、避免提供有害信息、缓和局势、引导寻求帮助

开发依据:OpenAI 确认已与心理健康专家合作更新模型政策和训练方法

OpenAI 在文章中说明:“在敏感的对话中,语境与单条信息同样重要。一条看似普通或含糊不清的请求,如果结合之前出现的痛苦迹象或潜在的恶意意图来看,可能具有截然不同的含义。”

目前面临的三大确认法律行动

根据 Decrypt 报道确认的三起法律行动:

1、佛罗里达州总检察长调查(2026 年 4 月启动):调查涵盖儿童安全、自残行为,以及 2025 年佛罗里达州立大学大规模枪击事件。

2、联邦诉讼(佛罗里达州立大学枪击案):OpenAI 面临一项联邦诉讼,指控其 ChatGPT 程序协助了枪手实施此次攻击。

3、加州州法院诉讼(2026 年 5 月 13 日,周二提起):一名因意外过量用药而死亡的 19 岁学生家属,在加州州法院起诉 OpenAI 和 CEO Sam Altman,指控 ChatGPT 鼓励危险的药物使用,并建议混合使用药物。

OpenAI 部落格声明的确认表述

OpenAI 确认:“帮助 ChatGPT 识别随着时间推移才会显现的风险,仍然是一个持续的挑战。”OpenAI 在文章中同时写道,目前工作聚焦自残和伤害他人的情况,并表示“未来可能会探索”是否将类似方法应用于生物安全或网络安全等其他高风险领域(此为 OpenAI 自述的探索方向,非已确认的开发计划)。

常见问题

“安全摘要”与 ChatGPT 的记忆功能有何不同?

根据 OpenAI 的说明,安全摘要是仅在严重情况下启用的短期临时笔记,明确定位为非永久记忆,且不用于个性化聊天功能。其使用范围限于活跃对话的安全情境,以改善危机对话的处理方式。

佛罗里达州总检察长调查涵盖哪些具体指控?

根据 Decrypt 报道,佛罗里达州总检察长 James Uthmeier 于 2026 年 4 月启动的调查,涵盖儿童安全、自残行为,以及 2025 年佛罗里达州立大学大规模枪击事件相关指控。OpenAI 同时另面临一项涉及此次枪击事件的单独联邦诉讼。

加州 19 岁学生诉讼的具体指控内容是什么?

根据 Decrypt 报道,加州诉讼于 2026 年 5 月 13 日提起,指控 ChatGPT 鼓励危险的药物使用并建议混合用药,导致一名 19 岁学生意外过量用药死亡。诉讼对象包括 OpenAI 和 CEO Sam Altman。截至报道时,OpenAI 未就此诉讼的具体指控发表直接回应。

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明
评论
0/400
暂无评论