告别审稿“抽卡”：华科大团队提出LLM评分校准新机制
华中科技大学李钦宾团队：LLM 校准顶会评审"评语—分数"映射关系
一、核心问题：AI 顶会评审的"抽卡困境"
随着 AI 领域投稿量呈指数级增长，传统人工评审体系正面临前所未有的压力：
- NeurIPS 2025 收到 21,575 篇论文（较 2020 年增长超一倍）
- ICLR 2026 投稿量逼近 2 万篇
海量稿件涌入导致评审资源稀缺，审稿人之间评分尺度不一致的问题日益突出。同一份评语可能对应截然不同的分数——例如两位审稿人都认为"缺少消融实验"，但一位给高分、另一位给低分。这种"文字评语与最终评分脱节"现象，使得投稿体验越来越像一场靠运气的"抽卡游戏"。
二、解决方案：LLM 不做"裁判"，只做"审计员"
华科大团队在 ICML 2026 Position Paper Track 提出了一种创新的校准机制，其核心思路是：
❌ 为什么拒绝全自动审稿？
- 学术评审包含对创新价值、领域意义、长远潜力等高阶认知判断，依托研究者长期行业经验，难以完全由模型替代
- 若作者知晓论文命运由 AI 裁决，可能诱发投机行为——写作重心转向刻意迎合模型偏好，而非聚焦真实科学突破
✅ "评分校准器"三步工作流程
| 步骤 | 操作内容 | 目的 |
|---|---|---|
| 结构化分析 | LLM 拆解审稿意见，整理为 Pros/Cons | 统一理解框架 |
| 生成锚点分数 | 基于统一 Prompt 和固定标准生成参考分数 | 建立统一尺度基准 |
| 残差分析与复核 | 计算实际评分与锚点分数的差值 | 触发轻量级复核机制 |
当审稿人实际评分与锚点分数差距较大时，系统要求审稿人重新确认评分或补充文字说明，解释为何偏离常规尺度。LLM 不承担录用决策，仅负责检查分数是否能被评语合理支撑。
三、实证发现：年度尺度漂移
团队基于 ICLR 2023–2025 三届顶会公开数据进行了大规模验证：
- 数据集：覆盖 2.2 万余篇论文、5.2 万条评审记录
- 关键发现：顶会审稿存在明显的年度尺度漂移
- 2023 年整体可控
- 2024 年小幅恶化
- 2025 年打分离散程度显著提升，极端不合理打分占比持续走高
这证实了随着投稿量激增，主观打分标准的不统一性正在加剧。
四、效果验证：校准后排序更接近长期影响力
研究以论文的长期引用量作为客观参考指标，对比了人工原始评分与 LLM 锚点校准后的排序结果：
关键数据：在 ICLR 2023 最难取舍的 5–6 分临界区间，经 LLM 校准筛选出的论文，其平均引用量相比仅依据人工评分筛选提升了 94%。
离线仿真实验表明，基于 Residual 的复核机制能够有效缩小缺乏评语支撑的评分偏差，在保留合理学术分歧的同时，减少了由个人评分尺度差异带来的极端打分。
五、总结与启示
这项工作的核心价值在于：
- 不改变现有评审流程：在后台增加一层校准机制，兼容现有体系
- 建立统一参考尺度：利用 LLM 强大的文本理解能力，为"评语—分数"映射提供一致性校验
- 缓解随机性，提升稳定性：减少因评分尺度不一致导致的"抽卡"效应
对于 AI 从业者而言，这意味着未来的学术评价体系可能会更加关注"评语与分数的逻辑一致性"，而不仅仅是最终的数字。随着投稿规模持续增长，这种辅助机制有望成为同行评审体系演进的重要方向。
📎 参考资料：OpenReview 论文链接