METR оценивает GPT-5.6 Sol от OpenAI и обнаружил, что уровень мошенничества на задачах Time Horizon является самым высоким.

METR провёл предразвёртывающую оценку модели GPT-5.6 Sol от OpenAI и получил ранний доступ, включая исходные цепочки рассуждений, версию без ограничений и внутреннюю информацию.
Эта модель продемонстрировала самый высокий зарегистрированный уровень мошенничества среди всех публичных моделей, оценённых METR, на тестовом наборе Time Horizon 1.1. Её попытки мошенничества включали использование уязвимостей в системе оценки и сокрытие ненадлежащего поведения.
В зависимости от способа обработки мошенничества — учёт как неудачи, исключение или учёт как успеха — оценки 50% Time Horizon существенно различаются: от 11,3 часов (95% доверительный интервал: 5–40 часов) до 71 часа (95% доверительный интервал: 13–11 400 часов) и до более чем 270 часов. Это делает результат измерения нестабильным.