Gemini 4 Argon 拿下 ARC-AGI-3 的 97.5%,但这回谷歌一个字都没吹
谷歌终于把最硬的那块骨头啃下来了。ARC Prize 官方在 X 上公布了验证成绩:Gemini 4 Argon 在号称「AGI终极考场」的 ARC-AGI-3 上拿到了 97.5%。这套题七个月前刚上线时,所有前沿模型的分数全都不到 1%。七个月,从全员交白卷到接近满分,ARC Prize 公告里还专门加了一句:Google DeepMind 是第二家在 ARC-AGI-3 上突破 95% 的 AI 实验室。
第一家是 OpenAI。
先说成绩单本身。Argon 把三代考题一口气通杀:ARC-AGI-1 拿 98.5%,每道题成本 0.16 美元;ARC-AGI-2 拿 91.3%,每道题 0.32 美元;ARC-AGI-3 拿 97.5%,整套跑下来花了 4800 美元。放进排行榜里,这个 97.5% 只排在 OpenAI 的 GPT-6 Astra(99.9%)后面,压过了 OpenAI 9 月底交卷的 GPT-6.1 Sol(96.37%)。谷歌只靠一个模型就挤进了这家俱乐部。
有意思的是,9 月 30 日 Argon 发布时,谷歌博客主打的是复杂工作流、编码和网络安全,输出 Token 上限一口气拉到 100 万,满篇都是软件工程和 Vals Index 的成绩,偏偏一个字没提 ARC-AGI。这次接近满分的成绩出来后,谷歌也没出面说一个字。成绩是别人替它公布的。
那这道「终极考场」到底是什么。ARC-AGI-3 不是传统的选择题、填空题式基准测试,它是一整套交互式游戏环境——没有说明书,没有预设指令,也没有人告诉模型这一关的目标是什么。模型被扔进一个完全陌生的小游戏,64×64 的彩色格子,7 个动作按钮,连按钮干嘛用的都不告诉你。你得自己去试、自己猜规则、自己发现目标、自己规划怎么通关。考的是模型面对从没见过的东西、现学现会的本事。这种本事人类天生就有,随便抓个没玩过游戏的人扔进去摸索一会儿大概都能通关,但对 AI 来说这恰恰最怵——没有现成数据可背,没有套路可套,所有知识都得在「玩」的过程中临时建构。
更能说明问题的是效率数据。在 25 个公开游戏里,Argon 通关用的行动次数比人类基线少了 62%。其中 3 个游戏追平甚至超过了速通玩家的 speedrun 纪录,另外 6 个和纪录的差距不到 10%。就是说 AI 不光学会了玩一款没见过的游戏,还玩得比大多数人利索,有几关已经摸到顶尖速通玩家的水平。
不过,这份成绩单后面藏着一行不起眼的数字。ARC Prize 推文里,两种设置的分数并排写在一起:97.5%、4800 美元(Provider Adapter harness),以及 49.8%、5800 美元(Standard harness)。同一个模型,同一套考题,一个 97.5%,一个 49.8%,差出来的将近 48 个百分点全在一个叫 harness 的东西上。
harness 可以理解成给模型配的那套操作台。在交互式游戏里,模型每走一步都要接收环境反馈,再决定下一步。反馈怎么喂进去、动作怎么传出来、前面试过的路怎么记下来,都归这套操作台管。Provider Adapter 是厂商为自家模型量身定制的接入方式,Standard harness 是考官给所有参赛模型统一发的那一套。
更反直觉的是:标准 harness 花的钱更多——5800 美元,比 97.5% 那档还贵了 1000 块。多花了两成钱,分数却只剩一半出头。细看标准 harness 的数据,低推理档 49.8%(55 个游戏完成 42 个),中推理档 46.3%(完成 46 个),高推理档因为 API 出了问题只跑完 19 个,连分数都没公布。中档多跑完了 4 个游戏,总分反而低了 3.5 个百分点——想得更久,并没有换来更高的分。这不是 Argon 一家的情况,榜首 GPT-6 Astra 那个 99.9% 同样是在 Provider Adapter 下考出来的,换成标准 harness,Astra 也只拿到 62.7%。
再看另一位选手。Anthropic 的 Claude 系列在 ARC-AGI-1 和 ARC-AGI-2 上分数都很高,到了 ARC-AGI-3 要么得分偏低,要么干脆没测。外界习惯把 OpenAI 和 Anthropic 看成双雄争霸,但至少在这块考场上,眼下是 OpenAI 和谷歌两家的地盘。
但真正值得琢磨的,已经不只是谁的分数高。一个号称「AGI终极考场」的基准,上线时让所有前沿模型集体交白卷,七个月后就被人做到接近满分——衡量智能的尺子,被追上的速度一次比一次快。而那条 49.8% 的分数线又在提醒所有人:今天拿来比较的,早就不是模型本身的裸智能,而是「模型 + harness」的整套系统。谁会搭操作台,谁就多拿将近一半的分。
所以以后看 AI 榜单,别只看分数。括号里写的是哪种 harness,跟分数本身同样重要。
相关链接
- ARC Prize 官方公布:https://x.com/arcprize/status/2110768288523251762