当没有参考答案时，LLM 评判者可能过于慷慨
核心事件
2026 年 7 月 14 日，Chalamalasetti Kranti 和 Sowmya Vajjala 在 arXiv 上发表了题为《LLM Judges Can Be Too Generous When There Is No Reference Answer》的论文（arXiv:2607.12885），揭示了当前广泛使用的 LLM 评判系统在无参考场景下的系统性偏差问题。
论文链接：https://arxiv.org/abs/2607.12885
背景：LLM 评判的兴起与挑战
随着大语言模型在各个领域的广泛应用，对模型输出质量的自动化评估变得至关重要。LLM 作为"评判者"（Judge）的角色日益普及——它们被用来评估其他模型生成的开放式回答的质量。
然而，一个关键问题随之浮现：当没有参考答案（ground-truth answer）可用时，LLM 评判者能否可靠地进行评估？
这正是 Kranti 和 Vajjala 在这项研究中试图回答的核心问题。
研究方法：两阶段实验设计
该研究采用了一个结构化的两阶段实验流程：
第一阶段：校准实验（Calibration Experiments）
评估评判模型对其正在评估的任务的知识掌握程度。这一步骤旨在确定评判模型是否真正理解它被要求评估的内容。
第二阶段：敏感性实验（Sensitivity Experiments）
评估评判模型的性能如何受到以下因素的影响：
- 参考答案的存在与否
- 参考答案在提示词中的位置
关键发现
1. 无参考场景下的过度宽容
研究覆盖三种语言的数据集，结果显示：被评估的 LLM 评判模型倾向于在没有参考答案的情况下，过度认可（over-credit）错误的答案。
这意味着，当评判者不知道什么是"正确答案"时，它们更容易给错误的答案打高分。
2. 参考答案的巨大影响力
在提示词中添加参考答案信息后，评判模型的"正确/错误"决策会发生显著变化：
在某些实验设置中，添加参考答案信息可以翻转评判模型高达 85% 的正确/错误决策。
这一数字令人震惊——参考答案的存在与否，几乎可以完全改变评判者的判断方向。
3. 与人类判断的一致性
研究将上述由参考驱动的决策变更与一部分人工标注（human annotations）进行了比较，发现：
这些由参考驱动的变更通常与人类判断一致。
这表明，当评判者获得参考答案时，它们的判断更接近人类的评估标准。
对行业的启示
1. 校准是必要步骤
研究结果强调了一个关键实践建议：
在使用 LLM 评判者在无参考设置之前，需要使用带有参考意识的评估样本对其进行校准。
这意味着，如果你计划用 LLM 来评估开放式回答的质量，你不能直接让它"凭感觉"评判。你需要先用一组已知参考答案的数据对它进行校准，让它了解什么是"好"的答案。
2. 方法论的价值
除了具体发现，该研究还提供了一套方法论框架：
我们的方法论为研究人员和实践者在其他任务中进行 LLM 评判者的校准提供了蓝图。
这套方法可以推广到其他评估场景，帮助业界更系统地解决评判偏差问题。
3. 提示词工程的重要性
研究还涉及参考答案在提示词中的"位置"对评判效果的影响。这提醒开发者，在设计评判提示词时，不仅要考虑是否包含参考答案，还要考虑其摆放位置和呈现方式。
总结
Kranti 和 Vajjala 的研究揭示了一个重要但容易被忽视的问题：LLM 评判者在没有参考答案时会系统性地过于宽容，这可能严重扭曲我们对模型性能的评估。
对于 AI 从业者和开发者而言，这项研究的实用价值在于：
- 在进行开放式回答评估时，务必为 LLM 评判者提供参考答案
- 如果无法提供参考答案，必须先用带参考的数据对评判者进行校准
- 关注参考答案在提示词中的位置，这可能影响评判结果
- 借鉴该研究的方法论框架，为自己的应用场景建立可靠的评判校准流程
这项研究不仅指出了问题的存在，更提供了解决问题的路径——通过系统性的校准和敏感性分析，我们可以让 LLM 评判者成为更可靠的评估工具。
本文基于 arXiv:2607.12885 论文内容撰写，所有数据和结论均来自原始材料。