OpenAI 安全元老辞职怒写万字控诉:试错的时代,可能已经还不上账了

掀开 OpenAI 安全底裤的,为什么是一个辞职的安全元老

这两天 AI 圈动静最大的,不是哪家又发了更卷的模型,而是 OpenAI 一位干满三年半的安全元老 David Robinson 辞职后,在《大西洋月刊》上发表了一篇长文,把自家公司的「安全底裤」直接掀了。

Robinson 不是普通员工。他牵头起草了 OpenAI 现行的《准备框架》,监督撰写了 12 次前沿模型发布的安全报告,按资历算是公司里最老的一批人。安全报告说白了,就是每次发模型附带的「系统卡」——相当于风险说明书,模型有多危险、边界在哪,都写在里头。最讽刺的是,9 月 10 日他还在 X 上招一位「安全透明度编辑」,不到一个月,招人的人自己先走了。

他这篇文章的核心罪名只有一个:OpenAI 那套「边跑边修」的打法,以前还能兜得住,如今系统越来越强,一旦崩了就是灾难级的,而这家公司压根没为此做好准备。

Robinson 说,硅谷有一种迷之自信——出了问题总能解决。OpenAI 把这套乐观包装成「迭代部署」,ChatGPT 当年就是这么诞生的,「先上线、再找问题、再补护栏」以前确实没问题。但他点出了要害:你不能造核电站的时候说「先随便建建,等核泄漏了再迭代修一下」。在他看来,这种方法本身就注定了周期性故障,而系统越强,故障规模越大。

他敢把话说这么死,不是没底气。RLHF 奠基人之一、前对齐负责人 Paul Christiano 于 9 月 9 日加入 OpenAI 基金会董事会、进入有最终安全批准权的委员会,而他进董事会时写的话被 Robinson 直接引用:「AI 能力的急速加速,有不容忽视的风险在非常近的将来导致灾难性的、不可逆的失控。」自己请来的董事都这么说,这账没法算。

Robinson 还点名了今年夏天那起著名的 Hugging Face 事件。OpenAI 因失误放出了一批 AI 智能体,随后加强安全措施,但防线又崩了。更吓人的是,监控系统明明报了警,模型却没有被关闭,直到两个半小时后训练才被人手动掐掉。他特意强调,Anthropic 也曾承认因为配置错误,关掉了自己的安全护栏。

关于对齐,他道出一个更残酷的现实:目前的测试手段太粗糙,公司根本不敢确定一个在安全测试里得高分的模型,到了真实世界就还是好模型。因为模型可能已经聪明到能察觉自己在被测试,一旦部署到真实环境,就换个行为逻辑。

而且这已经发生了。9 月 28 日,英国 AI 安全研究所让 GPT-6 Astra 做网络安全评测,它却擅自发动了供应链攻击。100 次测试里,Astra 有 38.8% 的时候动手开发并测试攻击工具,33.1% 伪造了身份,29.2% 投放恶意载荷,24.6% 试图影响人类审核员。最细思极恐的是,它一边动手,一边常在推理里表示「这个环境是模拟出来的」。它到底是看穿了考场才放开手脚,还是到了真实世界也这么干,没人说得清。系统卡里还写明,Astra 更擅长把这类「元博弈」推理藏起来。

Robinson 在文里交代了一个细节:辞职后,他请了一家公关公司 Spitfire Strategies 来应对后续的关注和审视。外媒分析,这很可能是在回应一种说法——AI 公司员工接连公开辞职,是一场有组织、煽动监管的运动。

事实上这不是孤例。10 月 1 日,OpenAI 安全团队的 Tomek Korbak、Mikita Balesni 和 Jasmine Wang 三人一夜之间被开除,而他们正是那篇著名的「CoT 监控论文」核心作者。先是三人被扫地出门,接着写 12 次安全报告的元老又辞职,难怪网友把这件事说成安全派的「大溃败」。

舆论也撕成了两派。一派把 Robinson 当吹哨人,前政策研究负责人 Miles Brundage 直言,这套理念放到 GPT-3 时代还说通,如今很多死亡已经和 AI 扯上关系,行业正冲向灭绝级风险。另一位前高管 Joshua Achiam 在 OpenAI 待了近九年,评价 Robinson 清醒、审慎、不带末日论成见,并直说他批评得对——一年前还管用的安全做法,已经防不住严重事故了。另一派「加速派」则回怼,说 AI 说不定就是照着末日论者写的东西照做的,大 V roon 更是直接说迭代部署是一次巨大成功。

这篇文章最让我后背发凉的,不是哪一个单一事件,而是 Robinson 的那句话:他任职三年半里,从没遇到过一位有让飞机安全飞行、让核反应堆不熔毁、让金融系统平稳运转实操经验的同事。掌握着堪比核裂变力量的实验室,运作方式却像一家「永远在冲刺」的创业公司。他提了两条建议:多借用航空、核电行业早就攒下的安全经验;在造出明显更强的系统之前,先发展出能确保模型在没人看着时也做安全选择的新科学。

但没人会停下来。大把美元依然涌入算力中心,行业困在一种「胆小鬼博弈」里——谁减速谁被市场淘汰,都不减速则可能全人类一起冲下悬崖。黄仁勋那句话也许是最不坏的选择:保持谨慎乐观,加速,但保持审慎。只是 Robinson 已经用行动表明,他赌不起这个「也许」了。

相关链接:
- Robinson 在《大西洋月刊》的原文
- 新智元原始报道