O novo AutomationBench-AA da Zapier revela: guardrails de conformidade cortam para metade as pontuações dos principais modelos de IA.

Segundo a monitorização da Beating, a Zapier e a Artificial Analysis lançaram o AutomationBench-AA, um benchmark independente de automatização de fluxos de trabalho SaaS baseado em dados anonimizados reais da plataforma Zapier. O benchmark compreende 657 tarefas de múltiplos passos e 40 ambientes SaaS simulados, incluindo Gmail, Slack, Salesforce e Jira.

Crucialmente, o benchmark impõe limites rigorosos de conformidade: qualquer violação das regras empresariais pré-definidas anula automaticamente a pontuação final da tarefa. Na avaliação inicial, todos os modelos viram as suas pontuações cair devido a penalizações por incumprimento. O Claude Fable 5 completou 73% das tarefas, mas obteve apenas uma pontuação final de 48,6%; o Gemini 3.5 Flash e o GPT-5.5 completaram aproximadamente 68% e 67% das tarefas, respetivamente, mas obtiveram 42,6% e 42,1%. O GLM-5.2 de código aberto obteve 27,8%.