这项由SalesforceAI Research的Shrey Pandit、Austin Xu、Xuan-Phi Nguyen、Yifei Ming、Caiming Xiong和Shafiq Joty共同完成的开创性研究于2025年10月15日发表，论文编号为arXiv:2510.13744v1。有兴趣深入了解的读者可以通过该编号查询完整论文。

当我们在学校做数学题时，老师不仅会检查最终答案是否正确，更会仔细查看每一个解题步骤是否合理。如果你在某个步骤犯了错误，即使最终答案碰巧是对的，也拿不到满分。现在，人工智能在数学推理方面已经达到了令人惊叹的水平，甚至能在国际数学奥林匹克竞赛中获得金牌。但这里有一个关键问题：谁来检查AI的"作业"呢？

当前的AI数学推理系统就像一个聪明但需要监督的学生。它们能够解决复杂的数学问题，但在解题过程中可能会出现推理错误、逻辑跳跃或者依据不充分的结论。更重要的是，这些AI系统在训练过程中需要大量的反馈来改进自己的能力，就像学生需要老师批改作业一样。

Salesforce的研究团队发现了一个严重的问题：目前用来检验AI数学推理能力的"考官"——也就是那些验证AI答题步骤是否正确的系统——远远跟不上最新AI的能力水平。这就像用小学数学老师的标准去评判大学数学系学生的作业，显然是不合适的。

为了解决这个问题，研究团队开发了一个名为Hard2Verify的全新测试基准。这个基准的特别之处在于，它专门用来检验那些负责"批改作业"的AI系统——也就是验证器——能否准确识别出最强AI在解决最困难数学问题时犯的错误。这项工作耗费了超过500小时的人工标注时间，可以说是目前最严格、最全面的AI数学推理验证基准。

研究结果让人震惊：即使是那些在传统测试中表现优异的验证系统，在面对真正前沿的数学问题时，准确率会大幅下降。就像一个在批改普通作业时得心应手的老师，突然面对奥数竞赛题目时可能就束手无策了。这个发现对整个AI数学推理领域具有重要意义，因为它揭示了当前系统的一个重大缺陷：我们缺乏足够强大的"老师"来指导最先进的AI"学生"。

一、AI数学推理的"监考官"危机

要理解这项研究的重要性，我们需要先了解AI是如何学习解决数学问题的。设想一个学生在学习解方程：他不仅需要知道最终答案是什么，更需要理解每一个变换步骤是否合理。当这个学生做错题时，老师需要指出具体是哪一步出了问题，这样学生才能真正改进。

AI的学习过程与此类似。现代AI数学推理系统采用一种叫做"强化学习"的方法，就像学生通过不断做题和获得反馈来提高能力。在这个过程中，AI会生成很多不同的解题步骤，然后需要一个"评判员"来告诉它哪些步骤是正确的，哪些是错误的。这个评判员就是我们所说的"验证器"。

传统的验证方法相当简单粗暴，就像只检查答案对错而不管过程的考试。这种方法对于简单问题还凑合，但当AI开始挑战真正困难的数学问题时，问题就暴露出来了。研究团队发现，很多AI能够给出正确的最终答案，但推理过程中存在严重的逻辑漏洞。这就像一个学生通过猜测得到了正确答案，但实际上并不理解解题方法。

更麻烦的是，随着AI能力的快速提升，它们开始挑战那些没有标准答案的开放性问题。这类问题就像文科的论述题，不能简单地用对错来评判，需要评估整个论证过程是否严密、每个推理步骤是否有充分依据。在这种情况下，传统的验证方法完全失效了。

研究团队通过对比发现，当前最先进的验证器在面对前沿AI生成的解题过程时，表现急剧下降。具体来说，一个在传统基准测试中能达到78.3%准确率的验证系统，在Hard2Verify基准上的表现骤降至37.3%。这种差距就像一个平时能准确批改小学数学作业的老师，突然要去评判博士生的数学论文，结果可想而知。

这个问题的根源在于验证器的训练数据和能力都跟不上前沿AI的发展速度。大多数验证器都是基于相对简单的数学问题训练出来的，它们习惯于处理有明确答案的问题和相对标准化的解题步骤。但前沿AI现在面对的是国际数学奥林匹克级别的难题，这些问题不仅复杂度高，而且解题方法多样，需要深入的数学洞察力才能判断每个步骤的正确性。

二、打造史上最严格的AI数学"考场"

为了准确评估验证器在前沿场景下的真实能力，研究团队精心设计了Hard2Verify基准。这个基准的设计理念就像为顶尖学生设计最具挑战性的考试，确保能够真实反映他们的能力水平。

首先，题目来源极其严格。研究团队从最近的国际数学竞赛中精选了80道题目，包括2024年和2025年的国际数学奥林匹克竞赛、普特南数学竞赛、加拿大数学奥林匹克等顶级赛事。这些题目不仅难度极高，而且都是最新出现的，确保AI系统在训练时没有见过类似题目。

更重要的是，研究团队特别关注开放性问题。这类问题就像要求学生"证明某个数学定理"而不是"计算某个具体数值"。在Hard2Verify中，78.5%的题目都是开放性的，这意味着验证器不能简单地对比最终答案，而必须深入理解整个证明过程的每一个环节。

接下来是答案生成环节。研究团队选择了三个当前最强的AI模型来解答这些题目：GPT-5（高推理模式）、Gemini 2.5 Pro和Claude Sonnet 4（思维模式）。这就像选择了三个最优秀的学生来参加最难的考试。这些AI模型在生成答案时会产生详细的步骤说明，就像学生需要展示完整的解题过程一样。有趣的是，某些模型解决一道题可能需要长达15分钟的"思考"时间。

最关键的是人工标注环节。研究团队与专业的数学标注团队Turing合作，雇佣了拥有博士学位的数学专家来评判每一个解题步骤。这些专家就像最严格的数学老师，不仅检查计算是否正确，还要验证每个逻辑推理是否严密、每个引用的数学定理是否适用、每个结论是否有充分的依据。

标注过程极其严格，采用了"零容忍"的评分标准。这意味着如果某个步骤包含任何错误，或者基于前面错误步骤得出结论，都会被标记为错误。这就像严格的数学竞赛，任何一点瑕疵都可能导致失分。整个标注工作经过了四轮检查：初始标注加上三轮独立审核，确保评判的准确性和一致性。

最终，这个过程产生了包含1860个详细标注步骤的数据集，涵盖200个完整的AI解答。每个步骤都经过了专业数学家超过90分钟的仔细评估，最复杂的解答甚至需要4小时来评判。这种严格程度远超以往任何AI数学推理基准。

基准设计了三种不同的测试任务来全面评估验证器能力。第一种是步骤级别验证，要求验证器判断每个解题步骤是否正确。第二种是整体解答验证，判断整个解题过程是否完全正确。第三种是错误定位，要求验证器准确找出第一个出错的步骤位置。这三种任务就像从不同角度检验老师的批改能力：既要能识别单个错误，也要能把握整体质量，还要能准确定位问题所在。

三、震撼发现：最强验证器也"看走眼"

当研究团队用Hard2Verify基准测试29个不同的验证器时，结果让所有人都大吃一惊。这就像发现即使是最权威的考官，在面对真正困难的题目时也会频频出错。

测试结果显示了一个残酷的现实：几乎所有开源验证器的表现都远不如商业化的顶级模型。在所有测试的验证器中，GPT-5表现最为出色，在步骤级别验证任务中达到了86.53%的平衡准确率。紧随其后的是Gemini 2.5 Pro，达到了83.37%。但即使是这些顶级模型，表现也不能说是完美的。

更令人担忧的是其他验证器的表现。许多在传统基准测试中表现优异的系统，在Hard2Verify上的表现急剧下降。比如，Qwen2.5-Math-PRM-72B这个专门针对数学问题训练的大型模型，在传统ProcessBench基准上能达到78.3%的表现，但在Hard2Verify上只能达到37.3%，降幅超过一半。

研究团队深入分析后发现了问题的根本原因：大多数验证器都患上了"好好先生综合症"。它们倾向于将几乎所有步骤都标记为正确，就像一个过于宽松的老师，很少给学生指出错误。具体表现就是，这些验证器在识别正确步骤方面表现尚可（真正率较高），但在发现错误步骤方面表现糟糕（真负率很低）。

这种现象的出现有其深层原因。弱的验证器缺乏足够的数学理解能力来识别微妙的错误，特别是那些表面看起来合理但实际存在逻辑漏洞的推理步骤。它们就像只能看懂表面文字但无法理解深层逻辑的阅卷者，对于复杂的数学推理过程无法做出准确判断。

研究还发现了一个有趣的现象：验证器的数学推理能力与其验证能力高度相关。那些本身具有强大数学解题能力的模型，往往也更擅长发现其他模型的错误。这就像数学功底深厚的老师更容易发现学生作业中的问题一样。相反，那些数学能力较弱的模型，即使专门训练用于验证，也很难准确识别复杂的推理错误。

在错误定位任务中，问题变得更加严重。大多数验证器在这个任务上的表现接近随机猜测的水平，有些甚至更差。这意味着它们不仅无法准确识别错误，更无法准确指出错误出现的具体位置。这就像一个老师只能模糊地感觉到作业有问题，但说不出具体哪里出了错。

研究团队还测试了不同的提示方法对验证器性能的影响。令人意外的是，直接询问"第一个错误在哪里"的效果往往不如先让验证器逐步评判每个步骤，然后从中推导出错误位置。这个发现说明，让验证器进行更细致的分析过程可能有助于提高其准确性，就像要求老师详细解释批改过程可能让批改更加准确一样。

四、探索验证器的深层机制

为了更深入理解验证器的工作机制，研究团队进行了一系列精巧的分析实验，就像解剖验证器的"大脑"来看它是如何思考的。

首先，他们探索了一个重要问题：给验证器更多"思考时间"是否能提高其表现？研究团队让同一个验证器在不同的推理强度下工作，就像让同一个学生用不同的时间来检查作业。结果显示，增加推理时间确实能显著提高验证器的表现。例如，gpt-oss-20B模型在低推理模式下的表现为59.69%，但在高推理模式下能达到70.93%，提升超过10个百分点。

这个发现很有趣，因为它说明验证器能够通过更深入的"思考"来发现更多错误。就像一个老师花更多时间仔细检查作业时能发现更多问题一样。但研究团队同时测试了另一种提高性能的方法：让验证器同时生成多个判断，然后通过投票来决定最终结果。令人意外的是，这种"集体智慧"的方法效果很有限，远不如给单个验证器更多思考时间的效果好。

这个对比揭示了验证的本质特征：验证是一个需要深度分析的序贯过程，每个步骤都需要基于前面步骤的理解来判断，而不是可以并行处理的独立任务。这就像数学证明检查需要逐步推进，而不能通过简单的多人投票来解决。

接下来，研究团队探讨了自我验证的能力，也就是让AI检查自己生成的解答。结果发现了一个微妙但重要的模式：不同强度的模型表现出不同的自我验证特征。最强的模型如GPT-5在自我验证时表现相对稳定，能够保持一定的客观性。但较弱的模型在检查自己的工作时往往过于"宽容"，特别是Claude Sonnet 4，它几乎总是认为自己的每个步骤都是正确的。

更有趣的是跨模型验证的表现。研究发现，验证器更容易发现较弱模型产生的错误，而对较强模型的错误识别能力相对较差。这就像一个中等水平的老师更容易发现差学生的明显错误，但可能看不出好学生的微妙问题。特别值得注意的是，所有验证器都认为Gemini 2.5 Pro生成的解答最难验证，这可能是因为该模型的推理方式更加复杂或者其错误更加隐蔽。

研究团队还探讨了一个根本性问题：验证是否比生成更容易？通过比较同一个模型的解题能力和验证能力，他们发现了一个令人鼓舞的结果：对于大多数问题，验证确实比生成更容易。具体来说，模型检查解答正确性的成功率通常高于其独立解决同样问题的成功率。

这个发现具有重要意义，因为它暗示我们不一定需要比生成器更强大的验证器。一个稍弱的模型可能已经能够有效验证更强模型的输出，就像一个经验丰富的老师虽然可能不如天才学生聪明，但仍然能够判断学生作业的对错。这为开发实用的验证系统提供了希望。

最后，研究团队深入分析了验证器失败的具体案例。他们发现了一个普遍模式：验证器最容易犯的错误是接受那些看起来合理但实际上缺乏充分论证的步骤。例如，在一个国际数学奥林匹克问题中，AI生成器做出了一个广泛的数学声明但只在一个特定情况下验证了它，人类专家认为这是错误的，但验证器却认为是正确的。这说明验证器在判断论证的完整性和严密性方面还存在重大缺陷。

五、未来展望与深远影响

Hard2Verify基准的发布不仅揭示了当前AI验证系统的不足，更为整个AI数学推理领域指明了发展方向。这项研究就像给AI领域敲响了警钟：在我们为AI的惊人能力欢呼的同时，不要忘记建立相应的质量控制机制。

从技术发展角度看，这项研究表明我们需要开发新一代的验证器，这些验证器不仅要具备更强的数学理解能力，还要能够识别微妙的逻辑错误和不完整的论证。这就像培养更专业的数学教师，他们不仅要懂数学，还要具备敏锐的错误识别能力。

研究结果还表明，简单地扩大模型规模可能不是解决验证问题的最佳途径。许多大型模型在Hard2Verify上的表现并不理想，这说明验证能力需要的不仅仅是更多的参数，而是更专业化的训练和更精细的设计。这为未来的AI研究指出了一个重要方向：质量比数量更重要。

对于AI训练方法，这项研究提供了重要启示。当前很多AI系统采用强化学习来改进数学推理能力，但如果验证器本身存在问题，那么整个训练过程就可能走偏。这就像让一个不称职的老师来指导学生学习，结果可能适得其反。因此，提高验证器质量应该成为提高AI数学推理能力的优先任务。

从实际应用的角度看，这项研究对于部署AI数学推理系统具有重要意义。在教育、科研、工程等需要精确数学推理的领域，我们不能仅仅依赖AI给出的最终答案，还需要可靠的方法来验证推理过程的正确性。Hard2Verify基准为评估和选择合适的验证系统提供了标准。

研究还揭示了一个更广泛的问题：随着AI能力的快速提升，我们的评估方法必须同步发展。传统的基准测试很快就会过时，我们需要不断开发新的、更具挑战性的评估工具。这就像教育系统需要不断更新考试标准来适应学生能力的提升一样。

对于开源AI社区，这项研究提供了宝贵的资源和方向。Hard2Verify基准已经公开发布，为研究者提供了一个统一的评估平台。这将促进更多针对验证器的研究，推动整个领域的发展。同时，研究结果也表明开源模型在验证能力方面还有很大提升空间，这为开源社区指明了努力方向。

更深层次地看，这项研究触及了AI可信度的核心问题。随着AI在更多关键领域发挥作用，我们需要确保其输出的可靠性。数学推理只是一个开始，验证技术最终可能扩展到其他需要精确性和逻辑性的领域，如法律推理、科学发现、工程设计等。

说到底，Hard2Verify基准的真正价值不仅在于评估当前系统的能力，更在于为构建更可靠、更可信的AI系统铺平道路。它提醒我们，在追求AI能力突破的同时，不能忽视建立相应的质量保证机制。只有当我们拥有了足够强大和可靠的验证系统，AI的数学推理能力才能真正发挥其潜力，为人类社会带来更大价值。

这项研究最终传达的信息是：AI的进步不仅体现在能做什么，更体现在能否保证所做的事情是正确的。在这个AI能力日新月异的时代，Hard2Verify提醒我们要平衡发展AI的生成能力和验证能力，确保技术进步建立在可靠的基础之上。对于任何想要了解AI数学推理前沿发展的人来说，这项研究都值得深入关注，因为它不仅展示了当前的挑战，更指明了未来的发展方向。

Q&A

Q1：Hard2Verify基准和传统数学AI测试有什么区别？

A：Hard2Verify专门测试AI验证器能否准确识别顶级AI模型在解决最难数学问题时的错误，而传统测试主要看AI能否得出正确答案。这就像传统测试只检查考试成绩，而Hard2Verify要检查批改试卷的老师是否称职。

Q2：为什么AI验证器在Hard2Verify上表现这么差？

A：主要因为验证器患上了"好好先生综合症"，倾向于将几乎所有步骤标记为正确，缺乏识别微妙数学错误的能力。许多验证器在传统测试中表现优异，但在面对前沿AI生成的复杂推理时就力不从心了。

Q3：Hard2Verify基准对普通人有什么意义？

A：虽然这是技术研究，但它关系到AI在教育、科研等领域的可靠性。就像确保计算器给出正确答案一样，我们需要确保AI数学推理系统的输出是可信的，这直接影响未来AI辅助教学和科研的质量。