模型会"描述"世界,但不会"看懂":新基准HSS把AI的第六感打回了原形
多模态模型现在能读复杂图表、做竞赛题、盯着密密麻麻的文字逐行识别,甚至甩出上万枚推理Token,把一张视觉题分析得头头是道。可让它看一段视频:一个追公交的女人为什么跑着跑着突然放慢了脚步,它大概率会卡住——而人类几乎瞄一眼就有答案。
Scale AI联合Elorian这次发布的新Benchmark「Humanity's Sixth Sense」(HSS,人类第六感),就是专门来测这种"不用列公式、也说不出过程、但一眼就有答案"的直觉式视觉推理的。结果相当扎眼:20名人类参与者拿到93.1%,而当前榜首GPT-6-astra即使开到最大推理强度,也只有53.6%;25个模型的中位数更是低到30.9%。这个数据背后藏着一个更扎心的判断:今天的模型有视觉,却没有"眼力见"。
522道题,专门考画面里没明说的事
HSS的思路值得先说清楚。它不考那种"放大图片就能找到答案"的题,也不考需要专业知识的题。答案不能直接出现在像素里,这是整套题最关键的约束。标注团队一共写了3466道候选题,经过三轮独立审核只留下522道,录取率15.1%。第一轮就淘汰了2302道,最主要的原因就是"答案其实已经藏在画面里"或"人类无法一致认可正确答案"。
这522道开放式任务对应288张图片和234段视频,视频总时长17.6小时,分成四大类:时间与因果动态、物理与空间逻辑、社会理解、抽象与情境推断。举几个例子直观一些:一排烧杯上的标签依次是40、50、60、70,最后一个模糊的标签该是多少?答案是80,因为它要顺着排列规律推断。一名女子追公交车,跑着跑着放慢脚步,为什么?因为公交停下来等她,不必再冲刺了——这是读行为意图,不是识别"画面上有辆车"。
这类能力人类快得惊人。认知科学研究显示,人大概在150毫秒内就能完成自然场景分类,同时提取物理动态、行为意图和社会结构。而现有视觉Benchmark大多站在两个极端:一边是奥数、图表、学术知识这类"专家级慢思考",一边是OCR、目标识别、检测定位这类底层感知。夹在中间、对真实世界最要紧的那块,反而一直没人单独测量。HSS把这块空白正式变成了分数。
25个模型集体失灵,模型不是不会推理,是没看懂
具体成绩上,GPT-6-astra以53.6%排第一,其后是GPT-6.1-sol(46.6%)、Claude-Opus-5.5(44.6%)、Gemini-3.8-flash(41.6%)、Claude-Fable-5.1(40.8%),其余全部低于40%。人类是93.1%。更有意思的是盲测对照:把图片和视频拿掉,只让最强模型根据问题文本猜答案,GPT-6-astra成绩暴跌到6.6%。这说明HSS考的不是语言套路,也蒙不过去,决定答案的证据确实得从视觉现场里读出来。
视频尤其难,25个模型里有23个在视频任务上表现更差,平均下降7.3个百分点。社会理解是最薄弱的领域,21个模型在这一项得分最低,平均准确率只有24.4%,其他三个领域平均有34.1%。
研究团队还对着8573次失败做了逐项归因,结论跟"模型需要更强逻辑推理"的直觉几乎相反:94%的失败来自感知或潜在信息推断,真正的逻辑推理错误只占很小一部分。最常见的错误是漏掉决定答案的关键线索(21.3%),其次是认错物体、人物或角色(19.9%),再往后是误判尺寸、距离和能否容纳(12.2%)、看错朝向(12.0%)、把二维遮挡误当三维对齐(9.1%)。这些错误也不是随机失误——在至少5个模型同时做错的题里,中位数高达80%的模型会因为同一个原因失败。不同厂商、不同架构的模型,可能共享着相似的视觉盲区。
给模型配上Agent,能补课,但补不出空间感
研究者进一步把模型放进Claude Code和Codex,让Agent可以裁剪、放大、重新抽帧、搜索、反复检查视觉材料。效果确实明显:在388题的子集上,Claude-Opus-5从30.8%升到51.3%,Claude-Fable-5.1从41.2%升到57.7%,GPT-6-astra在Codex里从54.4%升到59.3%,成为Agent设置下的最高分。Agent最擅长修那种"再仔细看一遍就能发现"的错误,物体识别错误、朝向错误、尺寸判断错误、漏线索,都有明显下降。
但有一个数字暴露了边界:把二维重叠误判成三维对齐的情况,只从102次降到101次,几乎没动。这类失败不是"图没放大",而是模型缺少稳定的三维空间表征。Agent能拿起放大镜,却长不出人类的空间直觉。更值得警惕的是,Agent设置下少数逻辑错误反而增加了——工具调用和反复思考能修浅层观察,却也可能带来新的推理路径偏移。
所以Agent不是HSS的终点,更像一次诊断:视觉工具能缓解"没看清",却解决不了"没看懂"。
多模态模型的进步过去几年常常表现为"会读更多文字、会解更难的题、能处理更长的视频",HSS提出的是另一条坐标轴:模型有没有对真实世界的直觉。这条轴对现实的AI Agent尤其要命。家用机器人得在孩子摔下楼梯之前,注意到他正朝台阶挪;自动驾驶得判断车辆能不能通过,而不是只识别"前方有两辆车";办公室助手要读懂谁在发号施令、谁没听懂,以及一句客套话背后的真实意图。这些能力都不能等世界把答案写成字幕。
今天的模型已经能对一张图侃侃而谈,但会描述世界不等于理解世界,会推理也不等于拥有直觉。在人类93.1%和模型53.6%之间,隔着的不是一道更难的考试题,而是机器真正走进现实世界之前,必须补上的那一眼。