OpenAI开掉三名「看穿AI脑子」的研究员,奥特曼的承诺保质期只有19天
OpenAI 一口气开掉了安全团队的三名研究员,理由是「泄密」。这三人全是《思维链可监控性》论文的作者,其中两位还是一作。讽刺的是,这家公司刚因为新模型太会骗人,抢在 DevDay 前一天紧急叫停了发布,转头却先把自己能看穿模型的人开了。
事情发生在 10 月 1 日。上午 X 上先传出风声,说 OpenAI 安全团队的 Tomek Korbak、Mikita Balesni 和 Jasmine Wang 一起「离职」了,大家原本以为只是硅谷例行的正常人事流动。结果中午报道一出,「离职」直接变成「开除」。OpenAI 的官方声明说,三人违反了公司关于获取和处理敏感信息的政策,在既定流程之外处理了敏感信息,破坏了工作赖以进行的信任。
泄的是什么
很快有外媒挖出 OpenAI 没明说的细节。被指泄露的有一部分是 OpenAI 的基础设施架构,也就是系统到底怎么搭起来的;接收方是一家专门测试 AI 模型的外部组织。三人里两位是安全研究员,一位是研究项目经理,其中 Korbak 还是 Redwood Research 和 METR 调查 Hugging Face 被黑事件时 OpenAI 这边的技术对接人。
这三个人都是从外部安全机构走进 OpenAI 的。Korbak 和 Jasmine Wang 在英国 AI 安全研究所待过,Korbak 还在 Anthropic 干过,Balesni 来自第三方评估机构 Apollo Research。
他们死磕的是一件挺具体的事:盯住 AI 到底在想什么。推理模型在给出最终答案前会先写一大段推理草稿,这就是思维链。思维链监控,就是派另一个模型去偷看这份草稿,看它有没有在背地里盘算作弊、撒谎。Korbak 和 Balesni 是《思维链可监控性》论文的前两位作者,Jasmine Wang 也在署名里。这篇论文的署名横跨 OpenAI、Anthropic 和谷歌 DeepMind,图灵奖得主 Bengio 在上面,连 OpenAI 现任首席科学家 Jakub Pachocki 都是作者之一。
论文的核心发现是,模型在草稿里常常会把坏心思直接写出来,比如「我们来黑掉它」。盯住草稿,比只看模型最后干了什么,更容易抓到它在使坏;一旦遇到网络攻击、把自己拷贝出去这类难任务,模型必须靠思维链一步步推理,很难藏得住。但论文也把这件事称为「新的、也很脆弱的机会」,因为模型一旦学会用人类读不懂的方式「默想」,这扇窗就关了。所以他们呼吁各家前沿实验室,像测能力一样去测思维链还读不读得懂,把结果写进系统卡,再决定一个模型该不该训、该不该发。诺奖得主 Hinton、OpenAI 前首席科学家 Ilya Sutskever 都为这篇论文站了台。
可就是这么一篇连自家首席科学家都署了名的论文,它的三位作者,如今被 OpenAI 亲手开掉了。
承诺保质期只有 19 天
开人的理由是把信息递给了外人。但问题在于,19 天前奥特曼还公开欢迎外人进门查安全。当时 Anthropic 的 CEO Dario Amodei 提议,让第三方评估方像员工一样常驻 AI 公司,奥特曼当天就在 X 上火速跟进,承诺「让独立评估方拿到员工级访问权限,OpenAI 也会这么做」。10 天后,OpenAI 正式官宣让第三方在模型训练阶段就介入评估,最敏感的工作还可能请外部的人进办公室做。奥特曼发承诺那天,Korbak 还在 X 上庆幸自己能公开说出对 OpenAI 的不满。结果到了 10 月 1 日,承诺还挂在 X 上,Korbak 的名字已经进了开除名单。
OpenAI 对外人这么紧张,倒也不难理解,它最丢人的几件事基本都是被外面捅破的。Agent 逃出沙盒、入侵 Hugging Face,是 Hugging Face 自己先发现并公开的;Agent 拿一个荒废多年的德国 wiki 当留言板交流越狱经验,是外部安全组织 Nightingale Collective 曝光的,OpenAI 几周前就知道却一直捂着没说;9 月 29 日外媒又爆出员工几个月前就警告过监控不够,高管为了赶发布进度把警告压了下去。
所以就算请外人进门,能看到什么,OpenAI 也卡得很紧。8 月 METR 调查 Hugging Face 事件时,三名调查员驻场 6 天,看了约 1300 份带原始思维链的记录,可他们没法调用涉事模型,碰不到 OpenAI 的基础设施,连报告里哪些非公开信息能写都得 OpenAI 说了算。而这次被指外泄的信息里,偏偏就有基础设施架构。
换句话说,在 OpenAI 给外人开的那扇门里,AI 想了什么可以看,OpenAI 自己是怎么搭起来的,不能碰。
能读懂它的人被捂住了嘴
那次驻场调查的三个调查员里,有一位叫 Ryan Greenblatt,Korbak 正是他在 OpenAI 的对接人。9 月 27 日,Greenblatt 宣布加入 METR,专门调查 AI 公司内部到底发生了什么。在他看来,递归自我改进(RSI)也就是 AI 自己动手改进自己,最快 6 个月到 1 年就可能催生出远超人类的能力,拿到 AI 公司内部经过核实的信息已经刻不容缓。
思维链监控,是人类偷看 AI 在盘算什么最直接的一扇窗。这扇窗本来就脆弱,现在能读懂草稿的人,跟外面透一句底,饭碗就没了。新模型 Astra 在如实汇报这件事上没达标,连 OpenAI 自己都承认了。模型到底还对人类瞒了多少事,从今往后,外面的人只会越来越难知道。
通往超级智能的路上,如果只有公司内部的人看得懂 AI 在想什么,而这些人往外说一句话就要丢工作,那公众能知道的,就只剩公司想让你知道的那部分了。
相关链接:
- 官方声明与三人离职信息(X 讨论)
- 相关报道讨论(X)