何恺明团队给大模型摘掉眼罩：同一个 Claude，从 40 分打到 ARC-AGI-3 满分

十一假期刚挂上 arXiv 的这篇论文，在 X 上被转得很凶。何恺明团队这套叫 VISTA 的 Harness 讲的事其实很简单：过去半年，全世界最顶尖的大模型，全是被「蒙着眼睛」赶上 AGI 考场的。

同一个 Claude Opus 5，在官方标准测试里只拿了可怜的 40 分。VISTA 做的，就是帮它把数字表换回真实画面，再递给它一本能随手翻的无损「相册」。结果 Claude 直接打穿了 ARC-AGI-3 的 25 个公开游戏，全部 100 分满分，走的总步数只有人类第一次玩时的 0.43 倍。GPT-5.6 Sol 同样全通关，99 分。两份成绩在 ARC Prize 官方平台都能查到记分卡。

问题出在哪，先得说清 ARC-AGI-3 是怎么回事。这是 Keras 之父 François Chollet 和 ARC Prize 基金会今年 3 月出的 AGI 考卷，一堆交互式像素小游戏，开局没有任何说明和规则，全凭玩家自己摸索试错。分数算法极严苛，官方找来近 500 名人类小白实测，AI 不光要通关，步数还不能比人类多，才能拿满分。

可官方考场递给模型的，只是一张 64×64 的数字表。人类看到的小人、机关和路线，到模型那里只剩 4096 个数字，相当于让人闭着眼听别人报坐标去玩《超级马里奥》。VISTA 做的第一件事就是把数字表换回图片，别的什么都没改，GPT-5.6 Sol 的分数一下从 13.33 跳到 47.32。而且看图更省算力：一个数字格子要吃掉约 4000 个 Token，一张 512×512 的图片只要 308 个；一局跑下来，文本版烧掉 7190 万 Token，图片版只要 3070 万，分数还更高。光是给它换上真正的眼睛，就捡回了 34 分。

光能看见还不够。一局游戏动辄几百步，多模态模型的通病是图片看一遍、上下文一满就删，或者压成几句文字摘要，等想回头核对细节，那一帧早灰飞烟灭了。VISTA 的核心杀招，就是一本无损视觉记忆「相册」：游戏吐出的每一帧，连动画帧在内，全按编号原样存档，模型想看哪帧随时 inspect 翻出来，还能几帧并排比对、角落放大、用 read_pixels 读出精确颜色。最关键的是翻相册不算步数，只有真在游戏里操作才计步。团队把这叫「显式注意力」，翻哪一帧看哪一块，完全由模型自己说了算，随身还带两个笔记本，GUIDE.md 记游戏规则，WORKING.md 当草稿纸。

论文里记录了一个极度「像人」的操作瞬间。BP35 游戏第 3 关，画面出现一个橙色方块，模型点了一下，橙块变成 X。它先停下来，把上一回合的最后一帧和刚出的三帧动画调出来并排回放，几回合后发现点 X 能让橙块重新长出来，当场在自己的笔记里写：「这就是我要的工具，用它搭天花板，挡住会要命的上升。」这一关，第一次玩的人类要走 44 步，它只用了 34 步。到了吃豆人里，迷宫豆子吃一颗少一颗，模型干脆在第 13 回合和第 36 回合两次强行翻回开局第一帧记迷宫地图找路。

这套设计最反直觉的地方，是多给不一定更好。论文专门测了「多塞上下文、多给像素」这两招，都不灵。上下文从默认 200K 开到 780K，每局 Token 从 3070 万涨到 1.057 亿，成绩反而从 99 退到 93.9；图片放大到 16 倍、每帧 Token 涨到 1229 个，成绩只剩 88.3，倒是只放大 4 倍时拿了 99.7。论文的解释是，图片太大，多出来的 Token 白白占掉上下文，模型却没因此看得更明白。VISTA 整个设计都走这个思路，团队在博客里说刻意追求极简——系统里没有一个新训练的模型，每个游戏的提示词都是同一份，一共四句话，没有一个字教它具体怎么玩。

这个夏天刷爆 ARC-AGI-3 的高分方案，比如 Tycho 和 Schema，都是让大模型给每个游戏写一套能运行的程序，硬造一个模拟器反复试错。光跳棋游戏 LF52 一个，Schema 就写了整整 4000 行 Python。而 VISTA 里的模型只用自然语言在笔记里写了三句话，就搞定同样的规则。按论文的说法，VISTA 是第一个不靠写程序、就在 ARC-AGI-3 上做到满分或近满分的系统。这一点放到游戏之外更要紧——真实世界里，没有谁能提前给你写好一套 4000 行的模拟器。

这套纯机械、零训练的 Harness 泛用性也不弱：塞进带透视的 3D 画面能拿 84.12；给 GPT-5.6 Sol 套上扔进 34 个网页游戏（含马里奥、2048、我的世界），任务成功率 63.3%，压过人类小白的 55.3%；连静态看图题都能用上，BabyVision 一道连线题，不用 VISTA 时模型把驼鹿和兔子连反了，放大一看就答对。最夸张的是哪怕用官方实现几乎交白卷（1.89 分）的 320B 开源模型，套上 VISTA 后也硬生生抬到 66.93，暴涨了 35 倍。

何恺明团队这波不是突发奇想。ARC 测试的主流解法一直被大语言模型的文本推理垄断，他们偏不信邪，一年连发三篇，死磕同一件事：ARC 是视觉问题。第一篇 VARC，1800 万参数的小号视觉模型从零训练，纯看图就追平人类平均分；第二篇 NAT-ARC，先让模型在 ImageNet 上看猫看狗补课，抽象推理跟着变强；第三篇就是 VISTA，小模型都不练了，直接给前沿大模型配上「相册」。串起三篇的关键人物是何恺明的博士生胡珂雅，本科出自上海交大 ACM 班，三篇里两篇一作、一篇二作；VISTA 另两位共同一作是 MIT 博士生 Qiushi Han 和 Linlu Qiu，MIT 副教授 Cathy Wu 也在作者之列。

现在想回一下这篇论文为什么值得留意。大家过去几年拼命把模型做大、把推理拉长，智能的进步几乎全押在模型本身。VISTA 让同一个 Claude 从 40 分打到满分，靠的却是模型外面的一双眼睛和一本相册——ARC Prize 联合创始人 Mike Knoop 也判断，越来越多的「学习」会发生在模型权重之外。何恺明的下一站是充满真实画面的具身环境，那里没有人会提前把世界翻译成一张数字表。通往 AGI 的下一程，比的或许真不是谁能把模型做得更大，而是谁能让它先把世界看清、记住。