人工分析によると、SpaceX AIのGrok 4.5は最近、AutomationBench-AAベンチマークで51.4％のスコアを記録し、Claude Fable 5（48.6％）やClaude Opus 4.8（48.5％）を上回りました。このモデルは、Gmail、Slack、Salesforceを含む40のシミュレーションアプリケーションで657のマルチステップタスクを完了させるAIエージェントの能力をテストするベンチマークで、ベンチマーク上で50％の閾値を超えた最初のモデルでもあります。
Grok 4.5のコスト優位性は顕著で、1タスクあたり0.34ドルに対し、Claude Fable 5は1.35ドル、Claude Opus 4.8は1.46ドル、GPT-5.5 xhighは1.28ドルです。しかし、このモデルは、1タスクあたり平均0.63回のコンプライアンス違反を引き起こしており、Claude Opus 4.8の0.55回やGemini 3.5 Flashの0.46回より高いです。
