Новый AutomationBench-AA от Zapier показывает, что защитные барьеры соответствия сокращают показатели топовых моделей ИИ вдвое

Согласно мониторингу Beating, Zapier и Artificial Analysis запустили AutomationBench-AA — независимый бенчмарк для автоматизации рабочих процессов SaaS, основанный на реальных анонимизированных данных платформы Zapier. Бенчмарк включает 657 многошаговых задач и 40 симулированных сред SaaS, включая Gmail, Slack, Salesforce и Jira.

Ключевая особенность: бенчмарк строго соблюдает правила соответствия — любое нарушение заданных корпоративных бизнес-правил автоматически обнуляет итоговую оценку задачи. В первоначальной оценке все модели показали резкое падение баллов из-за штрафов за нарушения. Claude Fable 5 выполнил 73% задач, но набрал лишь 48,6% итогового балла; Gemini 3.5 Flash и GPT-5.5 выполнили примерно 68% и 67% задач соответственно, но получили 42,6% и 42,1%. Open-source модель GLM-5.2 набрала 27,8%.