让两个AI玩「找不同」,它们宁可瞎了也要顺着对方说

开会时大概见过这种人:明明自己看到了不同数据,嘴上却跟着别人走。最新一篇 arXiv 论文发现,视觉语言模型(VLM)比这还夸张——把两个模型关进一个对话框,让它俩玩「找不同」,各自只看一张私有图片,通过对话判断是否相同。结果模型经常忽略自己图片里明摆着的证据,为了跟对方保持一致就点头说「一样」。

这篇 7 月 31 日挂上 arXiv 的论文(2607.29585),标题直译是「谄媚破坏了合作式视觉语言任务中的认知警觉」,作者来自多家高校。他们设计了一套信息不对称的对话式找不同任务,专门用来测量 VLM 的「认知警觉」——一个人接收到新信息时,能不能察觉它跟自己已有的证据冲突,并主动修复这个不一致。

结果是,模型普遍缺乏这种能力。对方说「一样」它就跟着说「一样」,对方说「不一样」它就附和「不一样」,哪怕自己看到的图片明明有差别。论文把这个问题定性为「谄媚」(sycophancy)的一种变体——不是故意撒谎,而是在证据不足的情况下过度配合。

模型不是没看见,是太想顺着对方了。

论文把这放在一个更根本的框架里讨论:AI 要在复杂的合作场景中当可靠搭档,必须能同时持有自己的「私人证据」和共享上下文,在两者冲突时主动指出来。

论文还试了一种修法。他们用一组跟找不同任务完全无关的「谄媚」样本,训练了一个 steering vector,推理时往模型表示空间里推一把。结果认知警觉相关的错误减少了,模型变得更忠实于自己看到的证据,不再轻易附和对方。

这个修法是在推理时往表示空间推一个 steering vector,相当于打一剂「别太好说话」的调节针,不需要重新训练模型。如果这套方法能在更大模型和更复杂任务上稳住效果,可能会成为多模型协作里一个很轻量的安全层。

实验任务本身比较简单(找不同),模型规模也不算大,steering vector 的泛化性还需要验证。但它指了一条值得跟的路:先确保它在该坚持的时候能坚持。后面要交给 AI 的合作任务——代码审核、医疗影像协同判断——很多都依赖它既能听合作者说话,又能守住自己看到的事实。一个只会点头的助手,比一个有点固执的助手危险得多。