Ryan Cotterell 新论文：无理性约束的“惊讶度理论”不过是一个同义反复
在计算语言学与心理语言学的交叉领域，一个持续了二十年的核心假设正遭遇前所未有的逻辑挑战。2026年7月23日，苏黎世联邦理工学院（ETH Zurich）计算语言学研究组负责人Ryan Cotterell向arXiv提交了一篇题为《Surprisal Theory is Tautological (without Rational Grounding)》的论文，从根本上质疑了惊讶度理论的普适性和可证伪性。
惊讶度理论的基石地位
惊讶度理论（Surprisal Theory）长期以来被视为心理语言学量化人类语言处理的理论基础。该理论的核心主张是：人类在处理语境中的某个语言单元时所产生的认知加工难度，与该单元在某种语言模型下的"惊讶度"（即负对数概率）呈仿射函数关系。
这一理论为研究者提供了一个看似完美的框架：通过构建语言模型并计算特定词语的惊讶度，就可以预测人类在阅读或听语时的认知负荷。这种"计算-行为"的对应关系使得惊讶度理论成为该领域最受欢迎的解释模型之一。
同义反复的逻辑困境
Cotterell在其论文中提出了一个令人震惊的论点：惊讶度理论本质上是一个"同义反复"。他论证道，对于语境中任何非负的难度度量，在温和的技术条件下，都存在一个语言模型，其惊讶度是该难度的仿射函数。
这意味着什么？这意味着，无论人类在语言处理中表现出何种难度模式，总能找到一个对应的语言模型来完美拟合它。因为任何一种难度模式都与某个语言模型一致，所以在缺乏对语言模型施加额外约束的情况下，惊讶度理论无法排除任何可能性，也就无法做出任何"可证伪的预测"。
旧假设的崩塌
Cotterell指出，这种逻辑漏洞之所以被掩盖长达二十年，是因为心理学界隐含了一个假设：相关的语言模型是由训练语料库生成分布的模型，因此提高模型对语料库的拟合度，就能提高对人类行为的预测能力。
然而，最近的实证研究动摇了这一根基。研究表明，在语料库上表现更好的模型，反而可能成为人类加工难度预测的更差模型。这一发现揭示了一个关键问题：单纯的统计拟合并不等同于机制解释。
理性主义的出路
面对这一逻辑困境，Cotterell提出了一个明确的解决方案：必须引入"理性主义的干预"。他认为，要打破这种逻辑上的死循环，研究者不能仅仅依赖从行为数据中逆向推导出的数据驱动模型。相反，相关的语言模型必须源自对理解者的非经验主义模型。
这种模型可以基于独立的认知约束或目标构建，例如：
- 记忆约束：考虑人类工作记忆的容量限制
- 处理目标：基于语言理解的特定认知目标
关键在于，这些约束条件不依赖于惊讶度理论试图用行为数据去解释的那些内容。只有引入了独立于待解释现象之外的理论约束，模型才能真正具备预测能力，从而将理论从"同义反复"的泥潭中解救出来。
对AI领域的启示
对于AI从业者和开发者而言，这篇论文提供了一个深刻的警示：在利用大规模语言模型模拟人类认知时，单纯的统计拟合并不等同于机制解释。如果缺乏对模型生成机制的独立理性约束，再完美的拟合也可能只是在数学上玩弄一种"放之四海而皆准"的同义反复游戏。
对于致力于构建类人认知架构的创业者与研究人员来说，Cotterell提出的方向——结合记忆限制、处理目标等认知科学先验知识来约束语言模型——或许比单纯追求下一词预测准确率更具突破潜力。
结语
这篇论文目前正处于评审阶段，但其提出的逻辑问题已经引发了学术界的广泛讨论。无论最终结论如何，这一争论都可能推动计算语言学和AI研究领域对模型可解释性和理论基础的更深入思考。