你的 LLM 答对了电网故障，但证据是错的——这篇论文专门抓这种事

电力系统调度员面前摆着三样东西：电网拓扑图、实时测量数据、事故文本描述。现在多模态大模型可以把这三样一起吞进去，然后给出一句诊断结论——看起来省了大事。

但问题来了：结论对了，不代表模型用了对的证据。这跟学生考试蒙对选择题是一个道理。你没法确定它到底是看懂了潮流分布才判断母线故障，还是因为训练集里某种文本模式跟答案恰好相关。

arXiv 上刚挂出来的一篇短文（arXiv:2607.24539）就是来管这件事的。题目很长——「Task-Conditional Faithfulness Auditing of Multimodal LLMs for Grid Diagnosis」——但意思很直接：把多模态大模型用在电网诊断上时，怎么审计它是不是真的「忠实」地用了该用的信息。

作者提了一个通用审计框架，核心思路是三步对照。先让模型自己报告它依赖了哪些信息（self-reported reliance），再用控制变量法把某类输入遮掉（modality ablation），看模型行为到底变了多少，最后跟工程上预注册的证据重要性清单做对比。三路信号一对上，就通过；对不上，就有问题。

发现问题之后，框架还有一个证据门控修正机制：把没通过检查的响应回炉，强制在证据约束下重新生成，再独立做一次消融验证，确认接地性确实改善了而且性能没掉。

这个框架在 IEEE 39 节点和 118 节点两个标准测试系统上做了实验，跑了三种不同规模的大模型。结果验证了框架确实能检测、诊断、修正「任务条件性忠实性失败」——翻译一下就是：模型用了不该用的线索而答对了，或者该用的线索没用上但碰巧答对了，这两种情况都能被揪出来。

这事对电网行业的意义很明显：你真的敢让一个说不清自己依据什么的模型去辅助故障判断吗？但我觉得对更广的 AI 应用场景也是个提醒。多模态 LLM 在医疗影像诊断、工业设备巡检、自动驾驶场景理解这些方向上的落地思路是一样的——模型说「答案是 A」，你不会只想看 A 对不对，而是想看它到底看了哪张图、哪段文本才得出 A。

这篇论文的切入角度比较细：它不只是做 faithfulness 检测，还额外做了一个修正 + 再审计的闭环。而且它的「任务条件性」设计意味着你要先注册每个任务的证据需求——这在实际部署里会增加一道工序，但也让审计真正可操作了。

如果你的团队正在把多模态 LLM 塞进任何带安全门槛的系统——电网、化工、交通、医疗——这篇短文值得翻一翻。下次跑诊断模型之前，可以多问一句：你凭什么这么判断？