Beatingの監視によると、ZapierとArtificial Analysisは、Zapierのプラットフォーム上の実際の匿名化データに基づく独立したSaaSワークフロー自動化ベンチマーク「AutomationBench-AA」を発表した。このベンチマークは657のマルチステップタスクと、Gmail、Slack、Salesforce、Jiraを含む40のシミュレートされたSaaS環境で構成されている。
重要なのは、このベンチマークが厳格なコンプライアンスガードレールを適用することだ。事前に設定されたエンタープライズビジネスルールに違反すると、最終タスクスコアは自動的にゼロになる。初期評価では、すべてのモデルがコンプライアンスペナルティによりスコアが急落した。Claude Fable 5はタスクの73%を完了したが、最終スコアは48.6%にとどまった。Gemini 3.5 FlashとGPT-5.5はそれぞれ約68%と67%のタスクを完了したが、スコアは42.6%と42.1%だった。オープンソースのGLM-5.2は27.8%のスコアだった。
