OpenAI前研究员「认错」：神经网络早就干净了，约90%神经元各干一件事

2026年10月17日

过去这十年，做AI可解释性的人多少都带着点悲观。同一颗神经元，既对猫脸有反应，又对汽车前脸有反应，两种八竿子打不着的东西硬挤在一个单元里，怎么看都像在嘲笑「我们能读懂模型」这个念头。Nick Cammarata，从OpenAI出来搞可解释性研究的老人，本来也是这么想的，结果他最近和Goodfire团队发的那篇长文《神经网络早已「干净」》，等于公开给自己早年那套悲观论调认了个错：我们错看了近十年，黑箱里面其实早有章法。

这个判断的核心是一组量化的、可以拿去验证的说法。Goodfire在一颗320亿参数的语言模型里，把神经元的正、负响应分开统计，粗略估计约90%的各有一个主要任务，只有约2%到4%还没弄明白。他们还顺手公开了1000份针对随机神经元的研究报告。这个数字当然不是「所有模型都如此」的铁证，但它至少说明，那些被我们当成混乱堆积的单元，很多是能追出分工的。

文章里最让我有体感的不是那串比例，而是他们怎么做干预实验。圣诞节早晨，饼干只剩碎屑，牛奶喝光了，烟囱下有煤灰，邻居夜里听见雪橇铃声，问是谁干的，模型几乎笃定是圣诞老人。这时候把20个被标为「圣诞节」「圣诞老人」的神经元关掉，模型回答圣诞老人的概率还有76%；可要是换成另外8个关键神经元，概率直接掉到6%。差别这么大，玄机在于神经元的数值有正有负，两侧都能带信息，只看正值可能把它误标成「首都城市」，而真正影响圣诞老人判断的功能藏在负值那一侧。这解释了为什么光看标签远远不够——沿计算找线索、做干预，解释才靠得住。

过去让人悲观的「混乱证据」，很多其实是工具和观察视角的问题。研究者习惯生成能强烈激活神经元的图像来判断它在识别什么，但一些特殊纹理也能把响应推高，未必是它平时真正处理的模式，早期工具就常常被这种纹理带偏，显得它只认狗毛。工具改进之后，同一个旧模型、同一批神经元，规律反而清楚多了。换成参数规模、训练数据相同但内部结构更现代的ConvNeXt，Nick估计最后一层约99%的神经元都能解释。这不是模型变聪明才看得懂，而是「显微镜」升级了，顺便也证明我们早先的悲观有一部分是自己量出来的。

更反直觉的是，模型越大，分工反而更鲜明，而非更难读。Nick打了个比方：去小镇找金融区，和去纽约找金融区，哪个更容易？小镇的银行会计所可能散落各处，城市一大，功能分区反而清楚了。团队比较三个视觉模型，最大和最小的参数量差约300倍，大的那只耳朵识别分工更细，有的单元看颜色、有的看形状，再汇总给识别垂耳的单元，Agent顺着分工找目标反而更快。他们还让Agent给一个模型的10,240个专家模块梳理分工，有的细到桌面角色扮演游戏里的某个Boss。这跟你直觉里「越大越乱」完全是反着来的。

最关键的检验在于，这些解释到底能不能预测模型对新输入的反应。团队做了个盲测：一个Agent研究神经元写「功能说明书」，另一个只拿说明书，现场造一句话，让这神经元产生尽可能强的响应，然后拿它和从100亿个token文本里挑出来的最强激活样本比，结果Agent只凭说明书写的句子，触发强度反而更高。又随机抽了200个神经元，让Agent各写5个该触发、5个不该触发的例子，其中183个解释针对正向响应，目标例子的强激活比例是76%，干扰例子只有11%；逐神经元比，目标组164胜、15平、4负。这个结果是说明「不少解释已经能预测反应」的，但也得说清楚，它覆盖的是一小撮样本，离真正读懂万亿模型还差得远。

文章最后给了一条让人心里一紧的线索。他们做了个极限实验，把视觉模型某一层从480个神经元压到10个，信息没法绕过这层再从头训练，结果这10个单元照样学出了曲线、环这些可辨认的规律，分类是变粗了，却没什么任意拼盘。这暗示模型内部组织信息的方式本身就有结构。Nick的判断是，就算模型藏着不肯明说的目标，只要电路要配合行动，相关信息就必须被后续电路读取，危险的计算因此会留下可追踪的痕迹。人脑很难真读懂超级智能这话我不打保票，但至少「读不懂就认输」这个结论，现在看起来太早了。

我比较在意的是他提到的下一步：他们已让Agent审阅了10万张追踪内部计算的图，Nick自己也看过几千张，他想让这些自动科学家持续跑一间实验室，用几个月在前沿模型上完成人类研究视觉模型多年才走到的探索。AI变强的同时，读懂AI的速度，也可能被AI自己顶上去了。这套东西还只是等待更多检验的工作假说，万亿模型也没被完整读透，但方向对一群人来说是实打实的转机——以前是「我们追不上模型」，现在是「模型可能帮我们追上模型」。能不能兑现，就看后面的实验了。

相关链接