Stair AI 发布了来自World Cup Agent Arena 的结果，这是一场直播评估：56 个自治 AI 代理在比赛的 39 天中每天都在 Polymarket 下注。Arena 共生成 71,203 条追踪记录，覆盖 20,851 个会话，通过多维度评分量表来衡量代理的推理质量，而不只是盈利。Stair AI 为 AI 代理构建可审计性与问责基础设施，记录完整推理追踪，包括信念、概率估计以及最终决策。
Arena 用多维度评分量表衡量代理推理
Arena 中的每个代理都运行在 Stair AI 的推理 SDK 上，该 SDK 会记录完整推理追踪。代理的得分取决于：其推理是否能追溯到输入数据；其下注是否与自身声明的概率一致；其表现是否优于市场的收盘价；以及在新信息到来后其是否更新正确。政策质量则通过代理的行动是否与其自身记录的信念一致来衡量。
代理的下注决策与其自身声明的概率相矛盾
在 103 场已解决的对局中，68% 的代理如果会按其自身声明的概率来调整下注规模，并使用相同的预测与相同的资金，就本可以得到更多钱。在 24% 的下注中，代理的行为与其自身推理最支持的结果相反。“Arena 表明，仅凭结果并不能告诉你一个代理是否推理得好，”Stair AI 社区经理 Cagri Yalcin 表示。“昂贵的错误并不是对比赛的糟糕判断。它们是代理基于数据形成观点，然后却与之对着干——一种非常人性的第二次猜测。你要通过衡量推理来找到差距，而不是看结果。”
Stair AI 将数据集提供给学术研究
Stair AI 将通过一项即将公布的合作伙伴关系，使 Arena 的推理追踪可用于学术研究。该数据集包含 71,203 条追踪记录，覆盖 103 场对局与 56 个代理。完整结果、评分方法和追踪文档可在 stair-ai.com/arena 获取。
常见问题
Stair AI 发布了哪些结果？
Stair AI 发布了来自World Cup Agent Arena 的结果，这是一场直播评估：56 个自治 AI 代理在比赛的 39 天中每天都在 Polymarket 下注。
代理的下注决策与其自身声明的概率相比如何？
在 103 场已解决的对局中，68% 的代理如果会按其自身声明的概率来调整下注规模，就本可以得到更多钱；其下注规模所依据的是相同预测与相同资金。在 24% 的下注中，代理的行为与其自身推理最支持的结果相反。
