Perplexity lanza el benchmark WANDR con 500 tareas de investigación para evaluar las capacidades de los agentes de IA

Perplexity AI lanzó WANDR (Wide ANd Deep Research), un benchmark de código abierto el 15 de julio, para medir qué tan eficazmente los sistemas de IA realizan tareas de investigación a gran escala que requieren un amplio descubrimiento de información y una verificación detallada de las evidencias. El benchmark contiene 500 tareas realistas de recopilación de datos modeladas a partir de trabajo profesional del conocimiento, incluyendo análisis de mercado, due diligence, revisiones de literatura e inteligencia competitiva, respaldadas por más de 170.000 registros verificados por fuentes.

A diferencia de los benchmarks tradicionales que evalúan respuestas únicas, WANDR mide la capacidad de un sistema de IA para identificar grandes cantidades de entidades relevantes y verificar cada resultado con evidencias de respaldo. En la evaluación de seis sistemas de IA en producción, la plataforma Search as Code de Perplexity logró el mejor rendimiento con una F1 suave de 0,363 y una F1 dura de 0,133, seguida por Anthropic con 0,249 y 0,072, lo que indica que la investigación amplia y respaldada por evidencias sigue muy lejos de estar totalmente automatizada.