Beyond Score Prediction: LLM-Based Essay Scoring and Feedback Generation via Reinforcement Learning with Rubric Rewards
引言
在人工智能赋能教育的浪潮中，自动论文评分（AES）和自动反馈生成（AFG）一直是备受关注的两大核心任务。近年来，随着大语言模型（LLM）的迅猛发展，研究者开始探索如何利用这些强大的语言模型来评估学生论文并提供建设性的反馈意见。然而，现有方法大多局限于提示工程或监督微调，缺乏对反馈质量的系统性优化。
2026年7月21日，Xuefeng Jin、Jiashuo Zhang、Teng Cao 和 Bin Yang 四位学者在 arXiv 上发表了题为《Beyond Score Prediction: LLM-Based Essay Scoring and Feedback Generation via Reinforcement Learning with Rubric Rewards》的研究论文。该研究提出了一种名为 RLAES 的统一框架，通过强化学习联合优化论文评分和反馈生成，为这一领域带来了新的突破。
研究背景与动机
现有研究的局限性
尽管大语言模型已在自动论文评分和反馈生成方面展现出巨大潜力，但当前研究存在以下主要局限：
- 评分与反馈割裂：大多数工作将评分任务和反馈生成任务分开处理，未能实现两者的协同优化。
- 依赖监督微调：现有方法主要依赖提示工程或监督微调，缺乏对模型能力的深度挖掘。
- 反馈质量难以评估：关于如何自动化、结构化地评估反馈质量，以及如何将这种评估纳入模型训练过程，系统性研究仍然有限。
- 强化学习应用不足：关于强化学习后训练在论文评分和反馈生成中的应用，尤其是如何设计有效的奖励机制，尚处于起步阶段。
研究动机
研究者意识到，一个优秀的教育评估系统不应仅仅关注分数预测的准确性，更应重视反馈的可操作性和质量。如果模型只能给出分数却无法提供有价值的改进建议，其教育价值将大打折扣。因此，本研究的核心动机是：如何在强化学习的框架下，同时优化评分准确性和反馈生成质量？
RLAES 框架：统一评分与反馈的强化学习方法
整体架构
RLAES（Reinforcement Learning for Essay Scoring）是一个创新性的统一框架，旨在通过强化学习同时优化论文评分和反馈生成两个任务。该框架的核心思想是将评分和反馈生成视为一个联合优化问题，通过精心设计的奖励机制引导模型在两个任务上都取得优异表现。
三大核心技术贡献
1. 基于量规的反馈评估（RFE）
Rubric-based Feedback Evaluation (RFE) 是本研究的基石性贡献之一。这一框架解决了"如何量化反馈质量"这一关键难题。
- 细粒度量规体系：RFE 包含 166 个细粒度的二元量规项，涵盖了反馈质量的多个维度，如针对性、可操作性、建设性、语气友好度等。
- LLM-as-Judge 机制：采用大语言模型作为评判者，对生成的反馈逐一对照量规进行评估，确保评估的一致性和客观性。
- 可测量、可解释、可训练：RFE 使反馈质量从模糊的主观判断转变为可精确测量、可清晰解释、可直接用于模型训练的量化指标。
RFE 框架的优势在于它能够捕捉论文-反馈一致性，即反馈是否真正针对论文的具体问题和优点，而非泛泛而谈。实验表明，RFE 表现出强大的成对判别能力，与专家偏好高度一致。
2. 自适应门控反馈优化（AGFO）
Adaptive Gated Feedback Optimization (AGFO) 是本研究在强化学习训练策略上的重要创新。
- 按需激活：在强化学习过程中，AGFO 机制根据当前训练状态和反馈质量，动态决定是否激活基于量规的反馈奖励。
- 降低评估开销：由于 RFE 评估涉及大量量规项的计算，每次迭代都进行全面评估会带来较高的计算成本。AGFO 通过智能门控机制，仅在必要时才启用完整评估，显著降低了计算开销。
- 提高反馈质量：研究表明，按需激活策略不仅没有牺牲反馈质量，反而通过更聚焦的训练提高了最终性能。
3. 相邻对比推理（ACR）
Adjacent Contrastive Reasoning (ACR) 是针对序数评分任务的专门设计。
- 解决序数校准问题：论文评分通常采用序数量表（如 1-9 分），相邻分数等级之间的差异往往非常细微。传统方法难以捕捉这些微妙差别。
- 显式对比学习：ACR 通过让模型明确对比相邻分数等级的论文特征，帮助模型更好地理解评分标准中的梯度变化。
- 提升评分精度：实验证明，ACR 显著改进了模型的序数分数校准能力，使得评分结果更加合理和一致。
实验结果与性能分析
评估基准
研究者在 ASAP（As-Score-as-Possible）基准测试 上进行了全面评估，这是一个广泛使用的自动论文评分数据集，包含大量真实的学生作文和专家评分。
核心性能指标
Quadratic Weighted Kappa (QWK) 是论文评分领域的关键评估指标，衡量的是预测分数与真实分数之间的一致性程度，考虑了分数差异的严重程度。QWK 值越接近 1，表示模型性能越好。
| 模型 | QWK 分数 | 备注 |
|---|---|---|
| RLAES-AGFO | 0.803 | 基于大语言模型方法的最佳性能 |
| 其他 LLM 基线 | < 0.803 | 次优性能 |
反馈质量评估
除了评分准确性，本研究还重点评估了生成反馈的质量：
- 反馈质量与 GPT-5.5 相当：经过 RLAES 框架训练的模型生成的反馈，在 RFE 评估下达到了与 GPT-5.5 相当的水平。
- 避免反馈退化：一个重要发现是，如果仅在分数上进行强化学习（不使用反馈奖励），会导致反馈质量显著下降。RLAES 通过联合优化成功避免了这一问题。
RFE 框架的有效性验证
- 捕捉论文-反馈一致性：RFE 能够有效识别反馈是否与论文内容紧密相关。
- 强大的成对判别能力：在成对比较任务中，RFE 的评估结果与人类专家判断高度吻合。
- 与专家偏好高度一致：定量分析显示，RFE 评分与多位领域专家的独立评估具有极高的相关性。
技术洞察与学术价值
从"唯分数论"到"评分+反馈"并重
这项研究最重要的理论贡献在于将反馈质量评估正式纳入强化学习的奖励机制中。传统的自动评分系统几乎只关注分数预测的准确性，而忽视了反馈的可操作性和教育价值。RLAES 通过引入 RFE 和 AGFO，首次实现了反馈质量的自动化、结构化评估与优化。
序数评分的新思路
ACR 方法的提出为解决序数评分中的关键挑战提供了新视角。相邻分数等级之间的细微差别往往反映了学生表现的质的差异，而不仅仅是量的变化。通过显式对比这些相邻等级，模型能够更深入地理解评分标准的内在逻辑。
强化学习在教育场景的应用拓展
本研究展示了强化学习不仅可以用于提升模型的语言生成能力，还可以精细地控制教育评估中的多个维度。这为后续研究提供了重要的方法论参考。
实践意义与应用前景
对 AI 从业者和开发者的启示
- 强化学习的教育应用潜力：本研究证实了强化学习可以用于改善大语言模型在教育场景中的表现，特别是在需要多维度优化的任务中。
- 反馈质量的结构化评估：RFE 框架提供了一种可复现的方法论，使开发者能够系统地评估和优化反馈质量。
- 开源生态的建设：代码和数据集的公开为整个社区提供了坚实的基础，加速了相关研究的推进。
对教育科技创业者的机会
这项研究代表了教育科技领域的一个重要发展方向：
- 智能化评估系统：结合大语言模型的自动化评估系统，不仅能够提供准确的分数，还能生成高质量的个性化反馈。
- 规模化教育服务：通过 RLAES 这样的框架，教育机构可以在不增加人力成本的前提下，为学生提供媲美人工批改的反馈质量。
- 差异化竞争优势：在竞争激烈的 EdTech 市场中，能够提供"评分+高质量反馈"一体化服务的平台将具有显著的差异化优势。
对教育研究和政策制定者的参考价值
- 评估范式的转变：从单一分数评价转向多维度的形成性评价，更符合现代教育理念。
- 数据驱动的改进：结构化的反馈评估为教育干预效果的量化分析提供了新的工具。
资源获取
研究者已公开了完整的实验材料和代码，促进了学术交流和实际应用：
- 代码仓库：https://github.com/hellomuyi/RLAES
- 论文全文：https://arxiv.org/abs/2607.19219
- 实验性 HTML 版本：https://arxiv.org/html/2607.19219v1
论文基本信息：
- 页数：12 页
- 图表：4 个图表，9 个表格
- 学科分类：计算与语言（cs.CL）、人工智能（cs.AI）
- ACM 分类：I.2.7; K.3.1
结语
RLAES 研究标志着自动论文评分和反馈生成领域的一个重要里程碑。它不仅展示了强化学习在多任务联合优化中的强大能力，更为教育评估的智能化转型提供了可行的技术路径。随着大语言模型技术的持续发展和教育应用场景的不断拓展，这类兼具评分准确性和反馈质量的研究成果，必将为教育公平和教育质量的提升做出重要贡献。
对于关注人工智能与教育交叉领域的研究者、开发者和创业者而言，RLAES 框架及其开源资源值得深入关注和借鉴。