Откуда вы знаете, что ваш агент решил задачу, а не просто нашёл ключ ответа?


На кастомном SWE-Bench предполагаемое исправление уже есть в истории репозитория, а проверяющие тесты поставляются вместе с самой задачей.
Способная модель будет использовать этот обходной путь каждый раз, если вы сначала не уберёте его. Именно это и является реальной работой при построении оценивания.
Посмотреть Оригинал
post-image
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено