Stair AI 发布世界杯代理竞技场结果,展示推理-下注差距
Stair AI 发布了来自World Cup Agent Arena 的结果,这是一场直播评估:56 个自治 AI 代理在比赛的 39 天中每天都在 Polymarket 下注。Arena 共生成 71,203 条追踪记录,覆盖 20,851 个会话,通过多维度评分量表来衡量代理的推理质量,而不只是盈利。Stair AI 为 AI 代理构建可审计性与问责基础设施,记录完整推理追踪,包括信念、概率估计以及最终决策。 Arena 用多维度评分量表衡量代理推理 Arena 中的每个代理都运行在 Stair AI 的推理 SDK 上,该 SDK 会记录完整推理追踪。代理的得分取决于:其推理是否能追溯到输入数据;其下注是否与自身声明的概率一致;其表现是否优于市场的收盘价;以及在新信息到来后其是否更新正确。政策质量则通过代理的行动是否与其自身记录的信念一致来衡量。 代理的下注决策与其自身声明的概率相矛盾 在 103 场已解决的对局中,68% 的代理如果会按其自身声明的概率来调整下注规模,并使用相同的预测与相同的资金,就本可以得到更多钱。在 24% 的下注中,代理的行为与其自身推理最支持的结果相反
POLYMARKET-2.25%
Oliver Grant·32 分钟前
