放养AI自己练棋:Claude Opus 5.5涨了250分,GPT-6 Astra却越练越菜

放两个AI出来,不给课程、不动参数,让它们自己跟国际象棋引擎下200盘,结果走出了两条完全相反的曲线。Claude Opus 5.5前75盘还在1500分上下打转,200盘下完涨到了1760;同一张榜上的GPT-6 Astra,第29盘还有1810分,200盘下完只剩1400。对阵满血Stockfish,Astra下了68盘,一盘没赢。实验出自大模型竞技场Arena的AI能力负责人Peter Gostev之手,放出来就在X上炸了。

有网友一眼认出,这是三年前Reddit上那道「时间循环」老题——一个从没下过棋的普通人,必须赢下前世界冠军卡斯帕罗夫才能逃出循环,每输一盘时间重置,但他能带着上一盘的经验重新上场。当年有网友算出暴力穷举要花比宇宙寿命还长的时间,也有人出巧办法:把大师上一盘的着法全背下来,换边照搬,拿大师的棋去打大师。现在Gostev真把AI扔进了这个循环。

规则本身很克制。每个模型拿同一个目标,和Stockfish下200盘,在实战里自己学自己变强。Stockfish是目前最强的开源国际象棋引擎,满血状态人类世界冠军也下不过,实验里被分成三档:最弱的Skill 0、限到1800分的中档,还有满血版,模型可以自己挑对手。GPT通过Codex运行,Claude通过Claude Code运行,选什么难度、记什么笔记,尽量让模型自己决定,作者减少干预。唯一禁令是不准调用国际象棋引擎替自己下棋。评论区有人建议Gostev教模型特定策略和开局,他没搭理,想观察的就是模型能不能自己找出进步的办法。

笔记是AI跨越一盘盘对局的记忆。Stockfish不会从上一盘里学到任何东西,AI却能翻自己的记录,把经验带进下一盘。这里分数要先说清楚:按页面统计口径,Elo是根据最近50盘中对阵Skill 0和1800档的成绩估算的,全强度档不参与计算,所以1760分并不意味着AI达到了人类棋手1760的水平,但用来看它有没有进步仍有一定参考价值。

Opus 5.5的开局并不高歌。前75盘一直在1450到1550之间来回打转,第46盘还摔到过1450。到了中段画风突变:第100盘1620、第150盘1790,最高冲到1840,截至10月5日早上第194盘回落到1760。看战绩更直观——对上1800档的Stockfish,按四段算的得分率从30%涨到40%,再干到50%,最近一段回落34%也还是比开局高;打最弱的Skill 0更是从五成多一路练到九成。Gostev自己的判断也在变,最初发帖时说「有一点点正增益,但也可能只是随机波动」,十几个小时后改口:Opus从约1500涨到约1750,表现非常亮眼。

涨这么猛,评论区立刻有人问:模型会不会偷偷给自己写了个象棋引擎?Gostev回复说用了引擎成绩直接作废,他已经亲自查过,Opus 5.5是在公平下棋。Opus也不是没犯过迷糊,网站专门统计了不合规则的想走棋,Opus前后试了52次,其中37次是想让棋子直接穿过挡在路上的其他子。分数在涨,基本规则上的失误还没消失。它的笔记里到底写了什么、怎么给自己安排练棋,Gostev没公开,能确定的是它没换模型、没更新参数。

越练越退步的Astra,开局反而更亮眼。第29盘达到1810,随后一路掉:第100盘1680、第150盘1540,200盘停在1400。对上1800档,四个阶段的得分率从44%跌到19%、17%、12%;连最弱的Skill 0都快打不动了,前100盘能赢九成多,后100盘只剩六成左右。同样能保留记录,结果却是练得越久下得越菜。Gostev提出一个解释:问题可能出在上下文窗口。他提到Astra在这次Codex配置中的原生上下文窗口是272k,随着笔记和文件增加,模型处理这些内容时可能出现退步。这个猜测很容易让人联想到日常用AI的体验——资料越塞越多,旧结论、新要求、已经推翻的判断混在一起,模型反而抓错重点。但Astra到底为什么掉分,目前还不能直接归因于上下文,需要对照实验才能坐实。

Gostev也是个行动派。10月4日他发帖说要给GPT-6.1 Sol试试1M上下文,两分钟后网站上就多出一条使用828K上下文窗口的Sol专用跑道。后加入的GPT-6.1 Sol和Claude Fable 5.1,目前才下了十几到三十几盘,分数都在1500到1610之间,还看不出往哪边走;Fable 5.1下了15盘之后已经被暂停。

Gostev搭这个测试,其实想搞清楚一件事:大模型训练一结束权重就定住了,没有真正的持续学习,那么模型能不能不改权重,只靠记笔记、复盘,在实战里自己变强?至少在这轮实验里,Opus 5.5展现出了这种可能,连曾任Google DeepMind副总裁、Gemini 1.0到4.0技术负责人的Oriol Vinyals都跑来评论区点了个赞。上下文学习,就是模型不动权重、只靠塞进上下文里的信息临场学会新东西,Opus这250分就是这么一盘一盘涨出来的。

回到Reddit那道「时间循环」题,挑战者想靠练棋逃出循环,就得把输掉每一盘变成下一盘的经验。Opus 5.5的表现,大致符合这种可能——不换权重,靠笔记和复盘,200盘涨了约250分。不过一个模型在一张榜上的涨跌远不能下定论,Astra的掉分说明这条路也远没走通。两个模型一升一降,正好把「不动权重、只靠上下文能不能自我进化」这个问题的两面都摆了出来:既撑得起涨分,也压不住掉分。

相关链接

  • https://ailearningchess.ai-learning-chess.workers.dev/
  • https://x.com/petergostev/status/2106481760746025422