AutomationBench-AA mới của Zapier tiết lộ các hàng rào tuân thủ đã cắt giảm một nửa điểm số của các mô hình AI hàng đầu

Theo dõi của Beating, Zapier và Artificial Analysis đã ra mắt AutomationBench-AA, một chuẩn đánh giá tự động hóa quy trình làm việc SaaS độc lập dựa trên dữ liệu ẩn danh thực tế từ nền tảng của Zapier. Chuẩn đánh giá bao gồm 657 tác vụ đa bước và 40 môi trường SaaS mô phỏng bao gồm Gmail, Slack, Salesforce và Jira.

Quan trọng là, chuẩn đánh giá áp dụng các rào cản tuân thủ nghiêm ngặt: bất kỳ vi phạm nào đối với các quy tắc kinh doanh doanh nghiệp đã được thiết lập trước sẽ tự động đưa điểm tác vụ cuối cùng về 0. Trong đánh giá ban đầu, tất cả các mô hình đều chứng kiến điểm số giảm mạnh do các hình phạt tuân thủ. Claude Fable 5 hoàn thành 73% tác vụ nhưng chỉ đạt điểm cuối cùng 48,6%; Gemini 3.5 Flash và GPT-5.5 đều hoàn thành lần lượt khoảng 68% và 67% tác vụ nhưng đạt điểm 42,6% và 42,1%. Mã nguồn mở GLM-5.2 đạt 27,8%.