模型整体指标好看，你在某个群体上偷偷翻车？这篇论文盯的就是这个

上周跟一个做模型评估的朋友聊天，他说手头一个模型在整体 benchmark 上表现稳得很，但扒开数据一看——某个特定领域的准确率低了一截，而那个领域刚好是客户最在意的。整体指标好不代表每个子群都好，这个坑做 AI 的人多少都踩过，但怎么系统性地抓到它、控制住它，一直缺一个数学上干净的办法。

arXiv 上刚挂出来一篇论文，做的就是这件事。标题很长，叫「Hierarchical Group-Conditional Conformal Risk Control for Selective Prediction in Language Models」，方法简称为 HG-CRC。四个作者都来自巴西，Murilo Salem、Luísa Böhm、Daniel Pontes、Anderson Ferrugem。

论文关注的问题是 Conformal risk control（CRC）这套框架。CRC 是这几年很火的一套方法，能让模型在不确定的时候选择「不说」——也就是 abstention（弃权），从而在整体上保证错误率不超过某个阈值。但问题是：这个保证是全局的。全局达标，不代表每个子群都达标。论文给出了一个具体数字：在子群分布轻微偏离的情况下，标准 CRC 有高达 47% 的试验会超标。也就是说，一个模型在全部用户上错误率控制住了，但在某个方言、某个专业领域、某类难度的题目上，可能一直在翻车。

HG-CRC 的做法并不复杂。它让用户自己定义一组层级分组——比如按领域分大类，大类下面按难度分子类，形成一个树状结构。然后在每个节点上都跑 Bonferroni 校正，保证所有节点同时满足风险控制。实际推断时采用 leaf-first 策略：优先用最细粒度的阈值做判断，如果该叶子节点没通过校准或者拒绝了当前样本，就回溯到上一层更粗的分组。整个过程只需要一个 hold-out 校准集，不需要重新训练模型。

实验部分他们用了三个模型——Qwen3-4B、Llama-3.1-8B-Instruct、Gemma-3-4B——和两个 benchmark：ARC Challenge 和 MMLU-Pro。配置覆盖了 IID 泛化、数据异质性、领域偏移、提示偏移、难度偏移、标签噪声和量化，一共八种场景。一个关键结果是：在 ARC Challenge 上，对于高精度模型（Qwen3-4B、Llama-3.1-8B），HG-CRC 的经验违规率为 0%，WGER（加权组错误率）也为 0。论文也说明——这是在 500 次 bootstrap 下观测到的经验上界，真实违规率的上限大约在 0.6%，不是绝对的零。

当然不是所有场景都这么理想。在 MMLU-Pro 上，Qwen3-4B 和 Gemma-3-4B 直接全部 abstain 了，Llama 保留了 0.014 的 WGER。Gemma-3-4B 本身校准不太好，但论文说它通过大量 abstain 做到了优雅降级。HG-CRC 相比全局 CRC 要多付出 22 到 37 个百分点的代价——也就是为了保子群，整体上会拒绝更多样本。消融实验也验证了分层深度是关键：去掉难度层之后，违规率回到了大约 11%。

从工程角度看，HG-CRC 做的是 post-hoc 校准，不碰模型权重，也不需要改推理流程——在模型后面挂一个校准层就行。代价是模型会给出更多「不确定」的回答，换取的是每个需要担保的子群确实被控制住了。

论文用 Bonferroni 校正来做多重假设校正，这在大规模层级下会比较保守。作者自己也承认，Bonferroni 的理论保证是必要的，但实际效果只在节点非常多的时候才明显。如果未来有人能换成更 adaptive 的校正方法，代价可能会更低。

这篇论文解决的是一个真实且隐蔽的问题——全局指标好但局部翻车。对于做模型部署、做 AI 产品落地的人，这个工具的价值不在于刷榜，而在于当某个客户场景、某个垂直领域、某类高风险请求需要明确担保的时候，能有一个数学上可追溯的兜底方案。至于这个代价能否接受，取决于那个子群有多重要。