Claude Fable 5 於 7 月 1 日恢復全面開放後,Reddit 上陸續出現用戶反映「降智」、安全審查機制更頻繁觸發的討論。BridgeMind AI 的 BridgeBench 基準測試顯示 Debug 評分從 86.2 大跌至 25.9、重構評分從 73.6 降至 38.4。
BridgeMind AI 基準測試:Debug 評分 86.2 降至 25.9
(來源:BridgeMind AI)
根據 BridgeMind AI 使用 BridgeBench 進行的測試,Fable 5 重新上線後的 Debug 評分從 86.2 降至 25.9,重構評分從 73.6 降至 38.4;BridgeMind AI 據此認為 Fable 5 性能弱化。
然而,Decrypt 指出,BridgeBench 的 12 個 Debug 任務中,僅有 3 個成功由 Fable 5 處理,其餘 9 個在啟動前就被安全分類器攔截,並轉寄給效能較低的 Opus 4.8 模型;被攔截的任務在計分時一律計零,才導致 BridgeBench 整體數據大幅下跌,並非 Fable 5 模型本身性能退化。
Arena.ai 人類盲測:前端程式碼 Elo 從 1650 降至 1623
根據 Arena.ai 透過收集數千筆人類盲測偏好投票、採用 Elo 評分系統進行排名的測試結果:
前端程式碼:Elo 從 1650 小幅降至 1623(差距在信心區間內)
文件處理能力:上升 34 分
專家文字:提升 25 分
程式碼(整體):小幅下滑 18 分
Arena.ai 結論:Fable 5 在真正執行任務時,輸出品質依然優異,核心運算能力並未退化;上線前後的整體表現幾乎沒有改變。
安全分類器更新背景:Anthropic 採取保守攔截策略
根據報道,Anthropic 部署更嚴格安全分類器的原因,是為了防範亞馬遜(Amazon)研究人員此前發現的 Fable 5 越獄技術問題;該技術曾導致 Fable 5 協助辨識並展示軟體漏洞,被美國政府列為國家安全威脅,並一度限制出口。
為此,Anthropic 採取保守策略,擴大了安全審核的容許範圍,使模型面對模糊請求時傾向拒絕,確保封鎖危害。BleepingComputer 測試後指出,Fable 5 模型效能本身並未降低,但嚴格的安全防護網影響了日常便利性。
C、C++、Rust 等關鍵字或涉及「安全」、「漏洞」字詞頻繁觸發任務轉寄至 Opus 4.8
根據 BleepingComputer 的測試報告,新的分類器會頻繁地將無害的 Debug 請求誤判為風險,並轉寄給 Opus 4.8 模型;程式開發人員若提示詞包含 C、C++、Rust 等關鍵字,或提及「安全性」、「漏洞」等字眼,就會頻繁觸發轉寄機制。
Anthropic 已承認過度攔截問題,表示將持續優化系統,但截至報道時尚未提供具體調整時間表;這對程式開發人員(尤其依賴 Debug 輔助功能的使用者)造成最直接的使用障礙。
常見問題
Fable 5 恢復上線後是否真的「降智」?
根據兩家評測機構的測試結果,Fable 5 的核心性能並未退化:Arena.ai 的人類盲測 Elo 評分顯示整體表現幾乎未變;BridgeMind AI 的 BridgeBench 評分大跌,根本原因是新安全分類器在 12 個 Debug 任務中攔截了 9 個並轉寄至 Opus 4.8,被攔截任務計零分導致數據下跌,而非模型本身性能退化。
為什麼 Anthropic 加強了 Fable 5 的安全分類器?
根據報道,Anthropic 部署更嚴格安全分類器,是為了防範亞馬遜研究人員發現的 Fable 5 越獄技術問題,該技術曾使 Fable 5 協助辨識並展示軟體漏洞,被美國政府列為國家安全威脅,並一度限制出口。
哪類請求最容易被新分類器誤攔截?
根據 BleepingComputer 測試報告,包含 C、C++、Rust 等程式語言關鍵字的提示詞,或涉及「安全性」、「漏洞」等字眼的 Debug 請求,最容易觸發分類器攔截機制,並將任務轉寄至效能較低的 Opus 4.8 模型。