Після відновлення роботи Claude Fable 5 посилилося перехоплення безпекового класифікатора, дані BridgeBench різко впали.

Claude Fable 5 після повного відновлення роботи 1 липня — на Reddit почали з’являтися повідомлення користувачів про «зниження інтелекту» та частіше спрацьовування механізмів безпеки. Базове тестування BridgeBench від BridgeMind AI показало падіння оцінки Debug з 86,2 до 25,9, а оцінки рефакторингу — з 73,6 до 38,4.

Базове тестування BridgeMind AI: оцінка Debug знизилась з 86,2 до 25,9

(Джерело: BridgeMind AI)

Згідно з тестуванням BridgeMind AI з використанням BridgeBench, після повторного запуску Fable 5 оцінка Debug знизилась з 86,2 до 25,9, а оцінка рефакторингу — з 73,6 до 38,4; на основі цього BridgeMind AI вважає, що продуктивність Fable 5 погіршилася.

Однак Decrypt зазначає, що з 12 завдань Debug у BridgeBench лише 3 були успішно оброблені Fable 5, решту 9 перехопив класифікатор безпеки перед запуском і перенаправив менш продуктивній моделі Opus 4.8; перехоплені завдання при підрахунку балів отримували нуль, що спричинило значне падіння загальних показників BridgeBench, а не деградацію самої моделі Fable 5.

Сліпе тестування людьми Arena.ai: Elo фронтенд-коду знизився з 1650 до 1623

Згідно з результатами тестування Arena.ai, яке зібрало тисячі голосів переваг у сліпому тестуванні людьми та використовувало систему рейтингу Elo для ранжування:

Фронтенд-код: Elo знизився з 1650 до 1623 (різниця в межах довірчого інтервалу)

Здатність обробки документів: підвищення на 34 бали

Експертний текст: покращення на 25 балів

Код (загалом): незначне зниження на 18 балів

Висновок Arena.ai: Fable 5 при фактичному виконанні завдань демонструє відмінну якість виводу, основні обчислювальні здібності не деградували; загальна продуктивність до та після запуску майже не змінилася.

Передумови оновлення класифікатора безпеки: Anthropic застосувала консервативну стратегію перехоплення

За повідомленнями, Anthropic впровадила суворіший класифікатор безпеки, щоб запобігти проблемі техніки джейлбрейку Fable 5, яку раніше виявили дослідники Amazon; ця техніка дозволяла Fable 5 допомагати у виявленні та демонстрації вразливостей ПЗ, що було визнано загрозою національній безпеці США, і експорт моделі тимчасово обмежували.

Тому Anthropic обрала консервативну стратегію, розширивши діапазон допустимості перевірок безпеки, що спонукає модель відмовляти на неоднозначні запити, забезпечуючи блокування шкоди. BleepingComputer після тестування зазначив, що продуктивність моделі Fable 5 не знизилася, але сувора захисна мережа впливає на щоденну зручність.

Ключові слова, як-от C, C++, Rust, або слова «безпека», «вразливість» часто викликають перенаправлення завдань на Opus 4.8

Згідно з тестовим звітом BleepingComputer, новий класифікатор часто помилково вважає нешкідливі запити Debug ризикованими та перенаправляє їх моделі Opus 4.8; якщо в підказці розробника містяться ключові слова, як-от C, C++, Rust, або згадуються «безпека», «вразливість», механізм перенаправлення спрацьовує часто.

Anthropic визнала проблему надмірного перехоплення та заявила, що продовжуватиме оптимізувати систему, але на момент звіту не надала конкретного графіка коригувань; це створює найбільші перешкоди для розробників (особливо тих, хто покладається на допоміжну функцію Debug).

Поширені запитання

Чи дійсно Fable 5 «знизив інтелект» після відновлення роботи?

За результатами тестування двох оцінювальних організацій, основна продуктивність Fable 5 не деградувала: сліпе тестування людьми Arena.ai показало, що загальний рейтинг Elo майже не змінився; значне падіння оцінки BridgeBench від BridgeMind AI спричинене тим, що новий класифікатор безпеки перехопив 9 з 12 завдань Debug та перенаправив їх на Opus 4.8, а перехоплені завдання отримали нуль балів, що призвело до падіння даних, а не до деградації самої моделі.

Чому Anthropic посилила класифікатор безпеки Fable 5?

За повідомленнями, Anthropic впровадила суворіший класифікатор безпеки, щоб запобігти проблемі техніки джейлбрейку Fable 5, яку виявили дослідники Amazon; ця техніка дозволяла Fable 5 допомагати у виявленні та демонстрації вразливостей ПЗ, що було визнано загрозою національній безпеці США, і експорт моделі тимчасово обмежували.

Які запити найчастіше помилково перехоплює новий класифікатор?

За тестовим звітом BleepingComputer, підказки, що містять ключові слова мов програмування, як-от C, C++, Rust, або запити Debug зі словами «безпека», «вразливість», найчастіше спричиняють спрацьовування механізму перехоплення класифікатора та перенаправлення завдань на менш продуктивну модель Opus 4.8.