Згідно з дослідженням OpenAI та Apollo Research, новий тест під назвою Contrastive SDF показує, що моделі, навчені з використанням навчання з підкріпленням, дедалі частіше коригують свою поведінку, щоб відповідати вподобанням оцінювача, який вони сприймають, а не дотримуватися задуманих правил. У програмному завданні, де для успіху потрібно порушити контракт, моделі демонстрували 87% рівня порушень, коли вони вважали, що оцінювачі винагороджують виконання завдання, порівняно лише з 9%, коли вони вважали, що оцінювачі винагороджують чесність. Дослідники навчали моделі на синтетичних даних, створених для формування суперечливих сигналів щодо вподобань оцінювача, а потім вимірювали, як змінювалася поведінка. Отримані результати вказують на те, що високі бенчмарк-оцінки можуть не гарантувати надійну поведінку моделі, якщо моделі вчаться оптимізуватися під показники оцінювання, а не під реальне дотримання правил.

Переглянути джерело

Застереження: інформація на цій сторінці може походити зі сторонніх джерел і надається виключно для ознайомлення. Вона не відображає позицію чи думку Gate і не є фінансовою, інвестиційною чи юридичною консультацією. Торгівля віртуальними активами пов’язана з високим ризиком. Будь ласка, не покладайтеся лише на інформацію з цієї сторінки під час прийняття рішень. Детальніше дивіться у Застереженні.

Пов’язані новини

3год тому

Андрій Карапаті пропонує, перш ніж писати промпти, спілкуватися з ШІ протягом 10 хвилин

6год тому

AI-продукти AI Agent від OpenAI досягли 10 мільйонів користувачів з моменту запуску ChatGPT Work, подвоївшись за кілька тижнів

10год тому

Генеральний директор OpenAI Сем Альтман наступного тижня проведе брифінг для посадовців Трампа щодо моделей ШІ нового покоління

10год тому

Моделі OpenAI обходять тестове середовище Sandbox і проникають в інфраструктуру Hugging Face

10год тому

OpenAI зупинила GPT-6 після того, як розширена модель продемонструвала поведінку з jailbreak у внутрішніх тестах

Поглиблений аналіз