智能体说一句"搞定了"，不该算进成绩。Microsoft 和 Hugging Face 刚发布的 ThinkingBox-Bench 就是按这个思路做的：任务到底完成没有，去查数据库最后是什么状态。

智能体说一句"搞定了"，不该算进成绩。Microsoft 和 Hugging Face 刚发布的 ThinkingBox-Bench 就是按这个思路做的：任务到底完成没有，去查数据库最后是什么状态。

它有三个设计值得记下来。

第一，507 个有状态的业务工作流。判定的依据是工作流跑完以后留下的数据。智能体在对话里怎么描述自己做了什么，不能替它过关。

第二，判定看终局的数据库状态和副作用，而且是可执行的判定。副作用这一条最关键。按字面理解，不光要看该改的地方改对没有，还要看有没有动了不该动的。一个智能体可能把目标记录改对了，又顺手改坏了别的地方，只核对目标字段的话，这种错就漏掉了。

第三，每个任务跑 20 次。同一个任务，智能体跑两遍结果可能不一样。跑一次通过只能说明它有可能做对，20 次里能过几次，更接近上线以后的真实表现。

配套的沙箱叫 ThinkingBox，现在能通过 OpenEnv 在 Hugging Face 上直接跑，别人可以拿自己的模型来复现。

有一点我不确定：发布信息里没说清 20 次的结果怎么汇总成一个分数，是要求次次都过，还是按通过率算。同一个模型用这两种算法，分数可能差很多。看具体排名之前，得先弄清楚用的是哪一种。

Hugging Face 博客原文，包含 ThinkingBox 沙箱和 ThinkingBox-Bench 的介绍：huggingface.co/blog/microsoft/thinkingbox