AI 写得太快,查不过来?这篇论文给每条结论配了个「证据账本」
链接不可信的账本方案:一篇 arXiv 论文的思路
用过 AI 辅助写正经东西的人——研报、技术文档、学术综述——应该熟悉那个头皮发麻的时刻:Agent 噼里啪啦生成一段论述,还像模像样贴了引用,但你盯着那几条链接,心里完全没底。
点开一看,好的情况是引用的论文确实存在但说的不是那回事,坏的情况是链接打不开,或者压根没这篇论文。问题在于模型的生成速度永远比你验证速度快——它写 10 条 claim 只需要几秒,你查完一条已经过去好几分钟。最后要么赌一把,要么把节奏拖慢一倍。
这个痛点正好是 arXiv 上刚挂出来一篇论文在解决的问题。标题叫「Evidence-Ledger Adjudication for Claim-Evidence Traceability」,7 月 29 号提交。核心思路简单说就是:既然 Agent 写得快但不可信,那就强制每条 claim 都配一个「证据包」,里面写清楚这条结论到底有没有被支撑。
具体工作流叫 evidence-ledger adjudication。每条 claim 生成之后,先不进入正文,而是配一个证据包——里面是检索到的相关证据原文。然后系统做一次判定:证据是支持、反对、还是无关。判定之后,unsupported、contradicted 或者 mixed-evidence 的 claim 会被打回给作者修改。
这听起来不复杂,但它把「验证」这件事从人脑里拆了出来,变成了一个可审计的中间层。你不是在凭感觉判断这段话靠不靠谱,而是能看到每条 claim 背后对应了什么证据、证据怎么说的、系统怎么判的。出了问题,可以追溯到具体是哪条证据链断了。
为了测这套方法,作者从 AVeriTeC、CLIMATE-FEVER 和 SciFact 三个数据集拼了一个 2,335 行的盲测基准——gold 标签在预测阶段完全隐藏,最后才拿来打分。结果挺直白:加了 evidence-ledger 的 Agent 条件 relation accuracy 到了 0.676,macro-F1 是 0.601;最好的非 Agent 基线只有 0.383 accuracy 和 0.303 macro-F1。
另一个更有实践价值的数字是路由召回率。在 1,435 条 gold 标签为 contradiction、missing evidence 或 mixed evidence 的 claim 里,系统正确拦截了 1,270 条。代价是它也误拦了 295 条本来 supported 的 claim——900 条 supported 里误拦了 295,精准率不算完美。但考虑到人在手动验证时的实际漏检率,这个 trade-off 对很多场景来说是可以接受的。
这篇论文不是在吹一个完美系统。2,335 条数据不算大,三个数据集的领域也偏窄——事实核查和气候科学为主。0.676 的准确率也意味着差不多每三条 claim 就有一条会被判错。但它的贡献不在数字本身,而在把「claim-evidence traceability」做成了一个可运行的工作流,而不是停留在纸面上的理念。
对于每天都在跟 AI 写稿、审稿、改稿的人来说,这个方向值得关注。现在的情况是 Agent 写完了你不敢信,你让 Agent 自查它只会说「我写得没问题」。中间缺的就是一层独立于生成流程的证据审计——一个能告诉你「这句有证据,那句没有,那句甚至跟证据对着干」的账本。