<TEXT>Claude Fable 5 が再稼働後、安全分類器の遮断が強化され、BridgeBenchのデータが急落した</TEXT>

Claude Fable 5 が7月1日に全面再開された後、Redditでは「知能低下」やセキュリティ審査メカニズムがより頻繁に作動するというユーザーの報告が相次いだ。BridgeMind AIのBridgeBenchベンチマークテストでは、デバッグスコアが86.2から25.9に急落し、リファクタリングスコアが73.6から38.4に低下した。

BridgeMind AI ベンチマークテスト：Debug スコア 86.2 から 25.9 へ

（出典：BridgeMind AI）

BridgeMind AI が BridgeBench を用いて実施したテストによると、Fable 5 再公開後のデバッグスコアは86.2から25.9に低下し、リファクタリングスコアは73.6から38.4に低下した。BridgeMind AI はこれに基づき、Fable 5 の性能が弱化したと判断した。

しかし、Decrypt は、BridgeBench の12のデバッグタスクのうち、Fable 5 が正常に処理できたのはわずか3つであり、残りの9つは起動前にセキュリティ分類器によってブロックされ、性能の低い Opus 4.8 モデルに転送されたと指摘する。ブロックされたタスクはすべて得点がゼロとカウントされたため、BridgeBench の全体的なデータが大幅に低下したのであって、Fable 5 モデル自体の性能が劣化したわけではない。

Arena.ai 人間によるブラインドテスト：フロントエンドコード Elo が 1650 から 1623 へ

Arena.ai が数千件の人間によるブラインドテストの好み投票を収集し、Elo レーティングシステムを用いてランク付けしたテスト結果によると：

フロントエンドコード：Elo が1650から1623へ小幅低下（信頼区間内）

文書処理能力：34ポイント上昇

専門文書：25ポイント向上

コード（全体）：18ポイント小幅減少

Arena.ai の結論：Fable 5 は実際にタスクを実行する際、出力品質は依然として優れており、中核的な計算能力は劣化していない。再公開前後での全体的なパフォーマンスにほとんど変化はない。

セキュリティ分類器更新の背景：Anthropic が保守的なブロック戦略を採用

報道によると、Anthropic がより厳格なセキュリティ分類器を導入した理由は、Amazon の研究者が以前発見した Fable 5 の脱獄技術問題を防ぐためである。この技術により Fable 5 がソフトウェアの脆弱性を識別・表示するのを支援し、米国政府により国家安全保障上の脅威とみなされ、かつて輸出が制限されたことがあった。

そのため、Anthropic は保守的な戦略をとり、セキュリティ審査の許容範囲を拡大し、モデルがあいまいなリクエストに対して拒否する傾向を持たせ、害を確実にブロックするようにした。BleepingComputer のテストでは、Fable 5 モデルの性能自体は低下していないが、厳格なセキュリティ防護網が日常の利便性に影響を与えていると指摘されている。

C、C++、Rust などのキーワードや「セキュリティ」「脆弱性」といった単語がタスクの Opus 4.8 への転送を頻繁に誘発

BleepingComputer のテストレポートによると、新しい分類器は無害なデバッグリクエストを頻繁にリスクと誤判定し、Opus 4.8 モデルに転送する。開発者がプロンプトに C、C++、Rust などのキーワードを含めたり、「セキュリティ」「脆弱性」などの単語に言及したりすると、転送メカニズムが頻繁に作動する。

Anthropic は過剰ブロックの問題を認め、システムを改善し続けると述べているが、報道時点では具体的な調整スケジュールは示されていない。これは特にデバッグ補助機能に依存する開発者にとって、最も直接的な使用障害となっている。

よくある質問

Fable 5 再公開後、本当に「知能低下」したのか？

2つの評価機関のテスト結果によると、Fable 5 の中核性能は劣化していない。Arena.ai の人間によるブラインドテストの Elo スコアは、全体的なパフォーマンスがほとんど変化していないことを示している。BridgeMind AI の BridgeBench スコアが大幅に低下した根本的な原因は、新しいセキュリティ分類器が12のデバッグタスクのうち9つをブロックし、Opus 4.8 に転送したためであり、ブロックされたタスクは得点がゼロとカウントされたことでデータが低下したのであって、モデル自体の性能劣化ではない。

なぜ Anthropic は Fable 5 のセキュリティ分類器を強化したのか？

報道によると、Anthropic がより厳格なセキュリティ分類器を導入したのは、Amazon の研究者が発見した Fable 5 の脱獄技術問題を防ぐためであり、この技術により Fable 5 がソフトウェアの脆弱性を識別・表示するのを支援し、米国政府に国家安全保障上の脅威とみなされ、かつて輸出が制限されたことがあった。

どのようなリクエストが新しい分類器に誤ってブロックされやすいか？

BleepingComputer のテストレポートによると、C、C++、Rust などのプログラミング言語のキーワードを含むプロンプトや、「セキュリティ」「脆弱性」といった単語に関連するデバッグリクエストが、分類器のブロックメカニズムを最も誘発しやすく、タスクは性能の低い Opus 4.8 モデルに転送される。