AdvancedMathBench：用于高级数学证明生成与验证的基准测试套件

AdvancedMathBench：用于高级数学证明生成与验证的基准测试套件

作者：Lingkai Kong, Zijian Wu, Yuzhe Gu, Haiteng Zhao, Wenyong Huang, Shuang Sun, Zhicheng Xiong, Xiaotian Zhang, Shuya Zhao, Yan Wang, Disheng Xu, Wenwei Zhang, Kai Chen

提交日期：2026年7月13日 学科分类：计算与语言 (cs.CL)

研究背景

大型语言模型（LLMs）在高中及奥林匹克风格的数学问题上已取得显著成绩，但其在高级数学领域的能力仍鲜为人知。然而，现有的基准测试在覆盖范围和评估粒度上均显不足：它们提供的学科范围有限，且往往依赖最终答案的正确性或粗粒度的评判，未能充分评估推理过程的有效性。

核心贡献：AdvancedMathBench 套件

为弥补这一空白，研究团队推出了 AdvancedMathBench，这是一套专为评估高级数学推理能力而设计的基准测试套件。

• ProverBench（证明生成基准）：包含 296 道题目，难度涵盖本科及博士资格考试水平。
• 自动化验证流水线：基于大规模专家标注数据训练，可输出正确性判定及对证明错误的细粒度评估。该流水线在预留的推理轨迹上与人类专家展现出高度一致性。
• VerifierBench（验证基准）：包含 888 条由模型生成的证明轨迹及配套的专家真实标签，旨在评估模型能否正确判断证明的有效性并提供合理的验证理由。

实验结果与挑战

实验表明，AdvancedMathBench 对前沿模型而言依然极具挑战性。

• 证明生成方面：表现最佳的模型 GPT-5.5-xhigh 在 UGD 和 QE 划分上的得分仅为 75.8 和 66.1，表明高级数学证明构建仍有巨大的提升空间。
• 证明验证方面：最佳模型的平衡 F1 分数仅为 65.1，且模型普遍表现出较低的真负例率（true negative rates），说明关键错误检测仍是当前的主要瓶颈。

文献信息

• arXiv ID：2607.11849
• 引用格式：arXiv:2607.11849 [cs.CL]
• 提交历史：[v1] Mon, 13 Jul 2026 17:38:22 UTC (938 KB)
• DOI：10.48550/arXiv.2607.11849