Согласно отчету об аудите, опубликованному OpenAI, примерно 30% из 731 публичного вопроса в SWE-Bench Pro неподходящи для надежной оценки программирования ИИ. Автоматический отбор выявил 200 проблемных вопросов (27,4%), а ручная проверка обнаружила 249 ошибок (34,1%). Основные проблемы включают неполные описания задач, чрезмерно строгие требования к тестам, скрытые тесты, проверяющие нераскрытые требования, и недостаточное покрытие тестами. OpenAI отметил, что уровень прохождения этих публичных вопросов передовыми моделями вырос с 23,3% до 80,3% за восемь месяцев, однако такие достижения требуют осторожной интерпретации из-за шума в бенчмарке. Компания отозвала свою предыдущую рекомендацию по использованию SWE-Bench Pro и призвала сообщество создавать более надежные программные бенчмарки.

Посмотреть источник

Дисклеймер: Информация на этой странице может быть получена из источников третьих сторон и предоставляется только для ознакомления. Она не отражает взгляды или мнения Gate и не является финансовой, инвестиционной или юридической рекомендацией. Торговля виртуальными активами связана с высоким риском. Пожалуйста, не основывайте свои решения исключительно на данных этой страницы. Подробнее смотрите в Дисклеймере.

Связанные новости

1ч назад

Cognition выпустила модель программирования SWE-1.7, достигающую 1000 токенов в секунду

10ч назад

Google обновила Android Bench восемью новыми моделями; Claude Fable 5 возглавляет рейтинг с точностью 84.5%

18ч назад

Американская полупроводниковая промышленность столкнется с нехваткой 157 тысяч работников к 2030 году

19ч назад

Ежедневное использование ИИ в Сингапуре составляет всего 6%, что ниже глобального среднего показателя в 11%.

20ч назад

Китайские модели ИИ стоят на 60-90% дешевле, чем конкуренты из США, что вызывает резкий рост их внедрения среди американских предприятий.

Детальный анализ