聊得越久越懂你「现在」,却不一定越能替你答「没问过」的新题:MIT 的 HugAgent 把数字分身测穿底了

一个很流行的技术路线是:找到一个人,跟他聊很久,把访谈、问卷和个人资料喂给大模型,让它慢慢变成这个人的「数字分身」。听起来顺理成章——你告诉 AI 的信息越多,它应该就越了解你,也越能预测你的回答。但麻省理工等机构的研究者这一次挑了个更难的问题来查:AI 就算学会了你现在怎么想,换到一个此前从没问过的新情境,它还能不能继续答得像你?

他们做的这套东西叫 HugAgent,入选了 EMNLP 2026 Main Oral。研究把真实参与者拉进来,用访谈让模型去预测他们在全民医疗、公共监控、住房增密这些场景下的回答。规模不算大,54 名参与者、1,742 个评测项,但真正有意思的不是榜单,而是它把「数字分身」这条线里一个很容易被跳过的坑摆到了台面上:复现一个人现在怎么想,和预测条件变了以后他怎么想,其实是两码事。

怎么测出来的

HugAgent 没有从公开人物资料或网络文本出发,而是重新招募真人。团队挑了三个在美国有明确分歧、又牵扯真实价值取舍的话题:全民医疗、公共监控,以及住房增密(放宽部分分区限制、允许建更高更密的住宅)。从 120 多位报名者里经过质量筛选,最后留下 54 人。

流程分三步。先是问卷,记下「现在的你」——填人口统计信息,对每个议题给 1 到 10 分的支持度,同时还要评价一堆理由对自己立场的影响有多大。同样是反对住房增密,一个人可能最在意社区风貌和房产价值,另一个人则更看重交通、租金或住房供给。所以真正区分不同人的,往往不是那个「支持还是反对」的最终答案,而是答案背后的理由和它们各自的分量。

第二步是改变条件,记录「如果……会怎样」:如果租金下降 10% 到 15%,如果全民医疗每年为家庭节省 3000 美元,如果公共监控的录像只保存 48 小时?参与者要在每个新假设下重新表态、重新评价理由。前后两种状态之间的变化,就是 HugAgent 想预测的 belief update(信念更新)。而且这些答案都来自参与者本人,模型考试时看不到目标情境下的正确答案。

第三步最花功夫,是 think-aloud 访谈。参与者通过团队开源的聊天机器人 TraceYourThinking,一边思考一边把自己的判断理由说出来。这不是一份固定问题清单,系统会根据前面说过的话动态整理出一个「因果信念图」——提到了哪些因素、把立场往哪个方向推、影响多强——再自动生成下一轮追问。甚至「我拿不准」本身也被当成信息:那可能意味着立场并不牢固,或者是两种价值在拉扯。

核心结果:读懂「现在」容易,条件一变就难了

模型在这两类任务上的表现差距很明显。在 Belief State Inference(信念状态推断,356 题)里,最好的方法准确率 77.56%,GPT-4o 是 74.66%。到了 Belief Dynamics Update(信念动态更新,1386 题),最好的 Claude Sonnet 4.5 是 68.61%,LLaMA 3.3 70B 是 67.57%,GPT-4o 是 63.11%。团队还让参与者在 14 天后重新答同样的题,用他们自己的前后一致性(84.84% 和 85.66%)作为经验上限——这个上限本身说明,连真人自己隔两周都会有波动。

但访谈确实有用。GPT-4o 如果只给人口统计信息、不给访谈,更新任务的准确率只有 39.83%,加上本人的完整访谈后提到了 63.11%;Qwen2.5-32B 从 32.12% 涨到 58.96%。反过来做 cross-person 实验,把本人访谈换成另一个人的,GPT-4o 掉到 39.30%,几乎回到没有访谈的水平。所以说这人自己说过的话里,确实藏着预测他未来如何回答的信息,不是单纯上下文加长。

既然访谈有用,那是不是多聊就行?HugAgent 没有看到这种稳定关系。以 Qwen2.5-32B 为例,访谈内容越多,信念状态推断从 68.84% 一路涨到 73.02%、再到 77.17%;但信念动态更新没有跟着涨,反而从 61.79% 降到 60.73%,完整访谈下只剩 58.96%。从「不认识这个人」到「有他的访谈」差别巨大,但把一个人的材料越堆越多,并不会自动换来更准的新情境预测。

再往下拆,模型到底卡在哪也有线索。预测一个人的变化可以拆成两问:他会不会变,以及变了往哪方向走。至少在医疗领域,GPT-4o 一旦判断这个人会变,判断变化方向的准确率高达 88.89%;但判断一个人究竟会不会变,准确率只有 49.36%。翻译成人话就是:模型往往知道新信息会把态度往哪个方向推,却很难判断「什么样的变化才足以让这个人真的改主意」。访谈比较容易暴露人在意哪些因素,但一个人究竟在什幺位置、有多大「改变阈值」,从已有表达里要难挖得多。

这一步不能被默认成立

对 human simulation 来说,这个区别尤其要紧。如果 AI 只是用来总结一个人的既有观点,一份足够详细的 persona 可能已经很好用;但越来越多的应用想走得更远——用合成参与者去测还没发布的政策,用 AI 消费者判断新产品会得到什么反应,让 personalized agent 替用户处理从没遇到过的新选择。这些用途的前提都一样:模型要从已经观察到的个人信息,外推到没有直接问过的情境。

HugAgent 的结果提醒大家,这一步不能默认成立。一个模型能把采访里出现过的观点复现得越来越像,那它更接近一份非常详细的个人档案;只有当条件改变、一个陌生的选择第一次出现,它还能沿着这个人的理由和权衡继续往下走,才能开始谈「代表这个人」。

当然也得说清楚边界:HugAgent 测到的仍然是假设情境下的自我报告,不是真实世界中长期的行为变化。模型和 100% 之间的差距,也不能全算成模型能力不足——人的回答本身就在波动,有些假设问题未必能从已有信息里推出唯一答案(其实从 84.84% 和 85.66% 那个 14 天一致性上限就能看出来)。所以它真正留下的问题,比某个 benchmark 分数更基础:我们到底该用什么证据,才肯相信一个 AI 真的足以「代表」某个人?是它能复述观点,是它能答对几道没见过的问卷,还是只有当环境和条件都改变之后,它依然能做出和本人相似的权衡?从一份详细的「关于我的档案」,走到一个能在陌生情境里代表「我」的模型,中间可能还有相当长一段距离。采访一个人也许已经足以让 AI 越来越像他,但「像他」和「能够代表他」,仍然是两件不同的事。

相关链接

  • 论文:https://arxiv.org/abs/2510.15144
  • 代码:https://github.com/jajamoa/HugAgent
  • 项目主页:https://jajamoa.github.io/HugAgent/