A Perplexity lança o benchmark WANDR, com 500 tarefas de pesquisa para avaliar as capacidades de agentes de IA

A Perplexity AI lançou o WANDR (Wide ANd Deep Research), um benchmark open-source em 15 de julho para medir com que eficácia sistemas de IA executam tarefas de pesquisa em larga escala que exigem descoberta ampla de informações e verificação detalhada de evidências. O benchmark inclui 500 tarefas realistas de coleta de dados, modeladas no trabalho profissional de conhecimento, incluindo análise de mercado, diligência devida, revisões de literatura e inteligência competitiva, apoiadas por mais de 170.000 registros verificados por fonte.

Ao contrário de benchmarks tradicionais que avaliam respostas únicas, o WANDR mede a capacidade de um sistema de IA de identificar um grande número de entidades relevantes e verificar cada resultado com evidências de suporte. Na avaliação de seis sistemas de IA em produção, a plataforma Search as Code da Perplexity alcançou o melhor desempenho com F1 “suave” de 0,363 e F1 “dura” de 0,133, seguida pela Anthropic com 0,249 e 0,072, indicando que pesquisas amplas e baseadas em evidências ainda estão longe de serem totalmente automatizadas.