MirrorCraft 发布|在 Minecraft 里偷偷改规则,考一考 Agent 的真正适应力

AI Agent 在 Minecraft 里能造工具、打怪、搭房子,这事已经不新鲜了。但有一个问题一直绕不过去——目前大多数评测都在固定规则下跑,配方是那个配方,掉落是那个掉落,Agent 记住了就能拿高分。可现实世界里,规则是会变的。训练它合成一把铁镐需要三块铁锭,哪天服务端一更新,配方改了,它还能反应过来吗?

这就是 MirrorCraft 这篇新 preprint 要干的事。

论文由 Gao 等人提交,核心思路很直接:给每个「标准世界」(Vanilla world)配一个「镜像世界」(Mirror world)。两个世界的地形、出生点、资源分布、目标、操作界面和行动预算完全一样,唯独在镜像世界里,服务端偷偷加载了一组数据包,改了部分规则。可能是合成配方变了,可能是某个生物掉落物换了,也可能是某类方块的行为逻辑不一样了。Agent 并不知道规则被改——它得靠自己在游戏里的试错和反馈来适应。

MirrorCraft 一共设计了 5 种受控生物群系、6 套规则变更方案、3 个递进目标和 6 种 Agent 配置,全部通过 Mineflayer 接口接入。评估方式用的是确定性进度里程碑加成功率,还引入了一个叫 Rule Intervention Effect(RIE)的指标,专门度量同一个 Agent 在标准世界和镜像世界之间的表现差值。

实验结果显示,规则变更造成的影响因规则类型而异——有些改动几乎不影响推理,有些则直接把 Agent 卡死。在没被告知规则的情况下,ReAct 风格的 Agent 在所有配置里拿到了最高的镜像世界综合得分,说明单纯靠「思考-行动-观察」的循环,确实能在未知规则下做出更鲁棒的决策。而直接把精确的规则文本提供给 Agent,对其平均任务进度和完成率的提升并不大——只是"温和提升"(modest gains)。给了规则书,Agent 并没能很好地利用它来调整行为。

这个结果暗合了 AI 社区一个越来越被关注的命题:agent 的适应能力,不等于它的知识储备。喂它完整的手册,它不一定能在现场用出来;让它自己摸索,它反而可能学得更快、更稳。

当然,MirrorCraft 还只是一个受控实验环境——六套规则方案也远不能覆盖 Minecraft 模组生态里的各种魔改。但它提供了一个很干净的实验框架:在地形、资源和目标都锁定的前提下,只改变规则,单独隔离出「适应力」这个变量来测量。

固定规则下跑分好看的 Agent,换了规则不见得还能用。记住再多配方,也不如规则变了还能自己试出来。