预注册复现研究揭示：NLI中的人类标签变异结论可能受样本选择偏差影响
在自然语言推理（NLI）领域，我们常常试图量化人类理解的“不确定性”。然而，一项最新的预注册复现研究提醒我们：当我们只盯着有争议的数据时，可能会得出完全错误的结论。
被扭曲的视角：ChaosNLI的选择偏差
此前，研究人员发现当假设中包含“非向上单调性算子”（如否定词、只有少数情况成立的量词等）时，人类标注者之间的一致性会显著降低。这一结论看似合理，但其数据来源——ChaosNLI数据集——存在一个特殊的筛选机制：它只收录那些“多数标签恰好获得 3/5 票”的样本。
换句话说，ChaosNLI本质上是一个“争议项”集合。研究者担心，之前观察到的“非向上单调算子导致一致性下降”，可能只是因为我们在数据中刻意挑选了那些模棱两可的例子，而非普遍的语言学规律。
预注册复现：当预期与现实背道而驰
为了验证这一假设，Haram Choi 提交了一项严格的预注册研究（arXiv:2607.19231）。研究团队避开了经过筛选的数据，转而使用 ChaosNLI 来源的两个未筛选原始开发集：SNLI 和 MultiNLI。
如果之前的结论具有普遍性，那么在未被筛选的原始数据中，包含非向上单调算子的项目依然应该表现出更低的一致性。
但结果却截然相反：
- 正向效应：在所有七项对比中，包含非向上单调算子的项目实际上比包含向上单调算子的项目具有更高的一致性（尽管差异极小）。
- 方向反转：唯一具有统计显著性的确认性对比，其符号与预注册时的预期完全相反。
- 效应微弱：所有观测到的效应量都远低于研究者设定的最小感兴趣阈值（0.10）。
测量工具的可靠性验证
尽管核心假设未被支持，研究团队通过多项检验证明了其测量工具的可靠性：
- 模拟误分类测试：结果显示，标记工具的误差会缩小效应量，而非人为制造假象。这排除了工具缺陷导致假阴性的可能。
- 人工审计：在一个新的 200 个项目样本上，人工重新标记的一致性达到了 0.875（四级量表），证明工具性能可靠。
对 AI 从业者的三大启示
这项研究不仅澄清了单调性算子与人类标签一致性之间的关系，更为 NLP 领域的研究和实践提供了重要教训：
1. 警惕选择偏差（Selection Bias）
许多用于研究人类标签变异的资源（如 ChaosNLI）都是基于“分歧程度”筛选出来的。在“争议样本”上发现的规律，不能直接推广到整体数据分布中。 如果你用有偏样本训练或评估模型，可能会高估某些语言结构带来的不确定性。
2. 明确声明条件性
如果研究必须基于经过筛选的资源，必须在结论中明确指出：这些关于 HLV（人类标签变异）的主张是“有条件于低一致性选择的”，而非普遍属性。避免将特定采样条件下的发现表述为通用语言学规律。
3. 预注册的价值
通过预注册研究假设和分析计划，研究者能够更客观地评估既有理论的边界，避免确认偏误。即使结果与原预期相反，这种“失败”的复现同样具有重要科学价值。
结语
对于从事模型训练、数据清洗和人类反馈对齐的开发者而言，理解数据采样策略如何扭曲我们对“人类不确定性”的认知至关重要。Choi 的研究代码、数据和审计轨迹已公开在 GitHub 上，为后续的复现研究和数据偏差分析树立了严谨的范例。
参考文献：
- Choi, H. (2026). Selection Shapes the Boundary: A Preregistered Replication of Monotonicity and Label Agreement in Unselected NLI Populations. arXiv preprint arXiv:2607.19231.
- Previous related work: arXiv:2607.15870