根據 Beating's monitoring 的監控，Zapier 和 Artificial Analysis 推出了 AutomationBench-AA，這是一個基於 Zapier 平台真實匿名數據的獨立 SaaS 工作流程自動化基準測試。該基準測試包含 657 個多步驟任務和 40 個模擬 SaaS 環境，包括 Gmail、Slack、Salesforce 和 Jira。
關鍵在於，該基準測試實施嚴格的合規防護措施：任何違反預設企業業務規則的行為都會自動將最終任務分數歸零。在初步評估中，所有模型因合規扣分而導致分數大幅下降。Claude Fable 5 完成了 73% 的任務，但最終得分僅為 48.6%；Gemini 3.5 Flash 和 GPT-5.5 分別完成了約 68% 和 67% 的任務，但得分分別為 42.6% 和 42.1%。開源模型 GLM-5.2 得分為 27.8%。
