Perplexity запускает бенчмарк WANDR для оценки исследовательских возможностей ИИ

Perplexity AI представила WANDR (Wide ANd Deep Research — «широкие и глубокие исследования»), открытый бенчмарк, предназначенный для оценки того, насколько эффективно системы искусственного интеллекта справляются с крупномасштабными исследовательскими задачами, 14 июля 2026 года. Фреймворк включает 500 реалистичных задач по сбору данных, смоделированных под профессиональную работу со знаниями, включая анализ рынка, due diligence, обзоры литературы, конкурентную разведку, сравнения продуктов и поиск талантов. Бенчмарк был запущен, чтобы решить проблему, с которой сталкиваются текущие ИИ-системы: они плохо выявляют большое число релевантных сущностей и при этом проверяют каждый результат с опорой на подтверждающие доказательства. По данным Perplexity, даже лучший по итогам оценки в компании модель получила «мягкий» F1 0,363 и «жёсткий» F1 0,133, что указывает: широкомасштабные исследования с опорой на доказательства по-прежнему далеко не полностью автоматизированы. Бенчмарк включает более 170 000 записей с подтверждением источниками в рамках 500 задач, создавая среду для масштабного тестирования исследовательских ИИ-агентов в отрасли, где полноценное покрытие сотен или даже тысяч записей критически важно для профессиональной работы со знаниями.

Perplexity оценивает шесть ИИ-исследовательских систем с помощью бенчмарка WANDR

Perplexity оценила шесть производственных ИИ-систем для исследовательских задач с использованием WANDR при идентичных условиях тестирования. Платформа Search as Code (SaC) показала наивысшую общую производительность, зафиксировав «мягкий» F1 0,363 и «жёсткий» F1 0,133. Anthropic заняла второе место с показателями 0,249 и 0,072, а остальные из оценённых систем не превысили «мягкий» F1 0,121. Также исследование показало, что увеличение вычислительных затрат обычно улучшает результаты для ряда моделей, хотя более высокие расходы и более длительное время обработки не всегда приводили к лучшим итогам.

В отличие от традиционных ИИ-бенчмарков, которые фокусируются на генерации одного ответа или письменного отчёта, WANDR измеряет способность ИИ-системы находить большое число релевантных сущностей и проверять каждый результат с опорой на подтверждающие доказательства. Бенчмарк призван отражать реальные исследовательские рабочие процессы, где успех зависит не только от поиска точной информации, но и от достижения полного покрытия — сотен или даже тысяч записей.

WANDR применяет оценку без привязки к эталону для валидации ИИ-исследований

WANDR использует процесс оценивания без привязки к эталону: каждая поданная претензия (claim) проверяется по доказательствам, которые приводит сама ИИ-система, а не сравнивается с фиксированным ключом ответов. Каждую претензию оценивают по качеству источников, фактической точности, релевантности и тому, действительно ли приведённые выдержки подкрепляют представленную информацию. Такой подход направлен на то, чтобы лучше отражать реальные исследовательские сценарии, где информация со временем меняется, а поддерживать полностью готовые наборы ответов сложно.

Бенчмарк также предоставляет детальную диагностику, чтобы выявлять, на каких этапах ИИ-системы терпят неудачу в ходе сложных исследовательских задач. Производительность можно измерять на нескольких стадиях, включая поиск информации, обогащение данных, сопоставление идентификаций, валидацию источников и извлечение доказательств — это позволяет разработчикам находить слабые места помимо общей метрики точности.

Perplexity заявила, что бенчмарк предназначен стать открытым ресурсом для исследователей и разработчиков, работающих над AI-powered search and research systems. Помимо бенчмаркинга, WANDR также может поддержать будущие методы обучения с подкреплением: он даёт структурированную обратную связь на каждом этапе процесса исследования, позволяя ИИ-моделям улучшать не только фактическую точность, но и планирование, покрытие и сбор доказательств в масштабе.

FAQ

Что Perplexity AI запустила 14 июля 2026 года?

Perplexity AI запустила WANDR (Wide ANd Deep Research — «широкие и глубокие исследования»), открытый бенчмарк, предназначенный для оценки того, насколько эффективно системы искусственного интеллекта выполняют крупномасштабные исследовательские задачи, требующие и широкого поиска информации, и сбора детальных доказательств.

Как выступила платформа Perplexity Search as Code в оценке WANDR?

Платформа Perplexity Search as Code (SaC) показала наивысшую общую производительность среди шести оценённых ИИ-исследовательских систем, зафиксировав «мягкий» F1 0,363 и «жёсткий» F1 0,133.

Что проверяет процесс оценки WANDR без привязки к эталону?

Процесс оценки WANDR без привязки к эталону проверяет каждую поданную претензию по доказательствам, которые приводит ИИ-система: оцениваются качество источников, фактическая точность, релевантность и то, действительно ли приведённые выдержки подтверждают представленную информацию.