各大旗舰模型轮流上阵打《星际争霸》，Google 的 Astra 胜率过了 50%，评论区却盯着一件事不放
有人把 StarSkirmish Bench 这个榜单刷新了一遍，把 OpenAI、Anthropic、Google 和 Muse 的旗舰模型拉去打了一局《星际争霸：母巢之战》（StarCraft BW）。这个 benchmark 的特别之处在于，模型不靠实时决策框架去操作单位，而是直接靠"写代码"在打游戏。投稿人把它挂上 Hacker News，标题就叫「Gemini 4 Argon 打星际争霸」，几十个项目几个小时内攒了 11 个赞、4 条评论——评论区比榜单本身还好看。
评论区里 m_w_ 对这个设定给了明确好评：它限时。很多 benchmark 不限时间，模型可以慢慢想、慢慢写，最后交出一份理论上能赢的代码，但现实里一局即时战略游戏等不了十分钟。限时这一条，让「能不能在实战窗口里写出能用代码」变得接近真实。不过他也抛了个反向的问题：与其固定限时，不如反过来测，每个模型面对各个难度层级的 bot，要多长时间才能把胜率抬到 50% 以上——这更贴近训练和调参的现实场景。
评论区真正炸开的，是 Google 某个旗舰（评论区点名 Astra）的胜率过了 50%。qsort 直接用了「beyond insane」这个词，紧接着抛出一个更尖锐的疑问：这些模型是不是被允许"针对即将面对的对手"去写代码？如果允许，这个 50% 就有水分了——可能是针对特定 bot 定制出来的。另一个证据是，面对更强的 bot，胜率会掉到个位数。一个能过五成的模型，遇到强一点的对手就接近全败，这种断层式的落差，很难不让人怀疑它只对某个特定对手有效。
jstummbillig 则问的是另一个层面：怎么避免模型直接吃预训练数据里的现成答案？从结果看，人类手写的 bot 反而能赢这些大模型，说明模型大概率没靠背板作弊——真要能背板，应该碾压人类写的代码才对。但他自己也承认，这到底是怎么回事，「是个谜」。
还有一条评论（BeaverGoose）建议把榜单放到 Pluto 上测一测。Pluto 是一个人工神经网络 bot，能轻松从最强的人类《母巢之战》玩家手里拿分。如果这些大模型连这种强度的 bot 都过不去，所谓"AI 会打星际"就还停在 demo 层面——能赢不代表能打，就像能反杀新手的代码，跟能跟职业选手对线是两码事。作者对这对标计划目前有没有回应，我还没找到公开信息。
这个帖子目前还只是几个人围观的现场，不是发布会的通稿。它的价值，是把 benchmark 设计里最容易粉饰的两个坑摆上了台面：限时够不够严，面对未知对手会不会露馅。能针对特定对手刷出 50% 胜率的模型，和能在随机强敌面前站稳的模型，虽然都顶着「会打星际」的标签，含金量差着十万八千里。至于这些模型到底有没有针对对手写代码、限时规则细节如何，都还缺更完整的说明，只能等榜单作者公开。