اختبار Zapier الجديد AutomationBench-AA يكشف أن حواجز الامتثال تخفض نتائج أفضل نماذج AI إلى النصف

وفقاً لرصد Beating، أطلقت Zapier وArtificial Analysis معيار AutomationBench-AA المستقل لأتمتة سير العمل في SaaS، استناداً إلى بيانات حقيقية مجهولة المصدر من منصة Zapier. يتضمن المعيار 657 مهمة متعددة الخطوات و40 بيئة SaaS محاكاة تشمل Gmail وSlack وSalesforce وJira.

والأهم من ذلك، يفرض المعيار حواجز امتثال صارمة: أي انتهاك لقواعد المؤسسة المحددة مسبقاً يلغي تلقائياً النتيجة النهائية للمهمة. في التقييم الأولي، انخفضت درجات جميع النماذج بشكل حاد بسبب عقوبات الامتثال. أكمل Claude Fable 5 73% من المهام لكنه حصل على 48.6% فقط من النتيجة النهائية؛ أما Gemini 3.5 Flash وGPT-5.5 فأكما حوالي 68% و67% من المهام على التوالي لكنهما سجلا 42.6% و42.1%. وسجل النموذج مفتوح المصدر GLM-5.2 27.8%.