Claude Fable 5 恢复上线后安全分类器拦截增强,BridgeBench 数据大跌

Claude Fable 5 于 7 月 1 日恢复全面开放后,Reddit 上陆续出现用户反映「降智」、安全审查机制更频繁触发的讨论。BridgeMind AI 的 BridgeBench 基准测试显示 Debug 评分从 86.2 大跌至 25.9、重构评分从 73.6 降至 38.4。

BridgeMind AI 基准测试:Debug 评分 86.2 降至 25.9

BridgeMind AI基準測試 (来源:BridgeMind AI)

根据 BridgeMind AI 使用 BridgeBench 进行的测试,Fable 5 重新上线后的 Debug 评分从 86.2 降至 25.9,重构评分从 73.6 降至 38.4;BridgeMind AI 据此认为 Fable 5 性能弱化。

然而,Decrypt 指出,BridgeBench 的 12 个 Debug 任务中,仅有 3 个成功由 Fable 5 处理,其余 9 个在启动前就被安全分类器拦截,并转寄给效能较低的 Opus 4.8 模型;被拦截的任务在计分时一律计零,才导致 BridgeBench 整体数据大幅下跌,并非 Fable 5 模型本身性能退化。

Arena.ai 人类盲测:前端代码 Elo 从 1650 降至 1623

根据 Arena.ai 透过收集数千笔人类盲测偏好投票、采用 Elo 评分系统进行排名的测试结果:

前端代码:Elo 从 1650 小幅降至 1623(差距在信心区间内)

文件处理能力:上升 34 分

专家文字:提升 25 分

代码(整体):小幅下滑 18 分

Arena.ai 结论:Fable 5 在真正执行任务时,输出品质依然优异,核心运算能力并未退化;上线前后的整体表现几乎没有改变。

安全分类器更新背景:Anthropic 采取保守拦截策略

根据报道,Anthropic 部署更严格安全分类器的原因,是为了防范亚马逊(Amazon)研究人员此前发现的 Fable 5 越狱技术问题;该技术曾导致 Fable 5 协助识别并展示软件漏洞,被美国政府列为国家安全威胁,并一度限制出口。

为此,Anthropic 采取保守策略,扩大了安全审核的容许范围,使模型面对模糊请求时倾向拒绝,确保封锁危害。BleepingComputer 测试后指出,Fable 5 模型效能本身并未降低,但严格的安全防护网影响了日常便利性。

C、C++、Rust 等关键字或涉及「安全」、「漏洞」字词频繁触发任务转寄至 Opus 4.8

根据 BleepingComputer 的测试报告,新的分类器会频繁地将无害的 Debug 请求误判为风险,并转寄给 Opus 4.8 模型;程序开发人员若提示词包含 C、C++、Rust 等关键字,或提及「安全性」、「漏洞」等字眼,就会频繁触发转寄机制。

Anthropic 已承认过度拦截问题,表示将持续优化系统,但截至报道时尚未提供具体调整时间表;这对程序开发人员(尤其依赖 Debug 辅助功能的用户)造成最直接的使用障碍。

常见问题

Fable 5 恢复上线后是否真的「降智」?

根据两家评测机构的测试结果,Fable 5 的核心性能并未退化:Arena.ai 的人类盲测 Elo 评分显示整体表现几乎未变;BridgeMind AI 的 BridgeBench 评分大跌,根本原因是新安全分类器在 12 个 Debug 任务中拦截了 9 个并转寄至 Opus 4.8,被拦截任务计零分导致数据下跌,而非模型本身性能退化。

为什么 Anthropic 加强了 Fable 5 的安全分类器?

根据报道,Anthropic 部署更严格安全分类器,是为了防范亚马逊研究人员发现的 Fable 5 越狱技术问题,该技术曾使 Fable 5 协助识别并展示软件漏洞,被美国政府列为国家安全威胁,并一度限制出口。

哪类请求最容易被新分类器误拦截?

根据 BleepingComputer 测试报告,包含 C、C++、Rust 等程序语言关键字的提示词,或涉及「安全性」、「漏洞」等字眼的 Debug 请求,最容易触发分类器拦截机制,并将任务转寄至效能较低的 Opus 4.8 模型。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明
评论
0/400
暂无评论