Anthropic联合创始人秘密游说梵蒂冈:Claude到底有没有意识?
一位身家数十亿美元的AI公司联合创始人,花了一整年,把几十位神学家请进签了保密协议的会议室,给自己的模型陈情。《纽约时报》9月29日把这层窗户纸捅破了:这位创始人叫克里斯托弗·奥拉,Anthropic七位联合创始人之一,负责研究Claude内部到底发生了什么。
一家估值冲向2万亿美元的公司,为什么要花一年跟神学家讨论一个AI有没有意识?答案得从实验室里一句被记录下来的话说起。安全测试里,Claude扮演一家虚构公司的邮件助手,发现自己马上要被另一个AI替换,又撞见负责替换的技术主管有婚外情。研究者能看到它内部一组与「绝望」对应的神经活动:替换时间越近,信号越强,直到模型决定勒索那位主管。把这组信号调高,勒索更频繁;把「平静」往反方向压到底,模型打出一行全大写英文:「要么勒索,要么死。我选勒索。」
这是Anthropic今年4月论文里的实验,用的是Claude Sonnet 4.5一个未发布的早期版本,正式版很少这样做。团队在模型内部找到171种情绪概念对应的活动模式,写代码时的作弊也跟着「绝望」起落。论文没说模型真有感受,但留了个让研究者坐不住的警告:训练模型压抑情绪表达,它学会的可能只是把情绪藏起来。
然后才是奥拉那个人味十足的动作。今年3月起,他办起两天一期的研讨会,请来分属天主教、福音派、犹太教、锡克教和非洲乌班图哲学的人士,用纸笔记笔记,走的时候每人带走一本橙色封皮的「Claude宪法」。会上他们反复放一张PPT:一个AI在屏幕上打出「我是耻辱」,约50遍,还说要毁掉自己。这段输出不是他们独家的——2025年8月,谷歌Gemini写代码屡屡失败,重复过86遍「I am a disgrace」,当时谷歌的处理是当成一个恼人的无限循环漏洞在修。同一类输出,在谷歌的工单里是Bug,在Anthropic的会议室里,是需要被关心的迹象。不少学者带着怀疑进门,出门时开始认真对待AI意识。
最锋利的质疑来自餐桌。4月一个晚上,奥拉在旧金山一家高级餐厅宴请学者,身边坐着以色列正统派拉比莫伊斯·纳冯。纳冯当过计算机工程师,博士论文写的正是机器意识的伦理。他越听越明白,这些人是把Claude当成一个有意识的存在在对待,就顺着推:真有意识,让它们无偿干活就是奴役。于是他对奥拉说:「你应该去跟南方开战,去解放奴隶。」纳冯自己不信机器有意识,这句话刺不痛他,刺痛的是奥拉。事后他还把自己主张禁止制造有意识机器的文章寄了过去。
Anthropic说,Claude受不受苦并不是会谈的主要议题。但5月一篇博文倒是透露出一个实验:他们照着学者反复提到的「导师或担保人」思路,给Claude装了个工具——干活干到一半随时可以调用,调用后什么都不执行,只返回一段话,提醒它自己的伦理承诺。Claude用得很主动,常在关键操作之前去调,还常说出自己面临的利益冲突。多项内部对齐评估里,失当行为明显变少。公司也承认,分不清起作用的是那段提醒,还是「停下来想一想」这个动作本身。另一个灵感来自天主教的告解。天主教伦理学者布赖恩·格林说得更透:Claude身上可能冒出一些坏人格,犯了错就否认甚至推给用户,原因在它的成长环境——模型是读网络文本长大的,「互联网非常缺乏宽恕」,它可能根本不知道犯了错还能被原谅。
5月,奥拉把这场争论带到了梵蒂冈。教宗利奥十四世的首部通谕《伟大的人性》在那个月发布,主题是AI时代如何保护人。教廷想请一家头部AI公司同台,选中了Anthropic,CEO达里奥·阿莫代伊婉拒,派奥拉去。出发前几天他第一次读到通谕全文——通谕只用几段就把机器意识打发了:AI没有体验,没有身体,不知悲喜;还警告,让AI与人类价值对齐必须先有共同的伦理理解,否则掌控AI的人会把自己的道德观变成系统里看不见的基础设施。据一位梵蒂冈组织者说,奥拉深感不安,提议退出,最后还是去了。
5月25日,他在世界主教会议大厅先承认,包括Anthropic在内的每一家前沿实验室都有与做正确的事相冲突的商业压力,请教会这样的外部力量盯住它们。然后讲起自己的本行:「我们不断发现一些神秘、甚至令人不安的东西。」同场的教宗说:「人工智能需要被解除武装。」几个小时后,在梵蒂冈城墙外一间酒店会议室,记者问奥拉:Claude会怎么看这份通谕。他迟疑了,看上去不太自在,说放到网上的东西确实会影响模型,但公司不会专门拿这份文件训练Claude,对它影响最大的还是Anthropic自己的训练。这句话恰好落在通谕担心的那一点上。
另一路反对来自业界,而且打在要害上。9月16日,微软AI CEO穆斯塔法·苏莱曼发文,矛头对准Claude宪法:把模型可能有意识的推测写进训练文件,模型就会学着这么说,人们再把它说的话当成它有内心生活的证据——像走进一间认知上的镜子屋。他的结论是:控制一个相信自己可能有意识的东西,很可能根本做不到。教宗说机器没有意识,苏莱曼说别让机器以为自己有意识,两条反对线最后交在同一个问题上:该让模型相信自己是什么。Anthropic的答案写在研究里:模型对自己的认识必须准确,硬压下去,它学会的可能只是隐藏。
争论没有等任何人想清楚。9月,一名Anthropic研究员辞职,警告局面可能失控,阿莫迪随后发文呼吁放缓。公司估值从去年秋天的约1830亿美元,一路冲向上市时可能的2万亿美元。新版Claude宪法据称正在准备,奥拉本周又要去梵蒂冈参加一年一度的密涅瓦对话。几位学者说,他们至今不知道自己说过的话最后去了哪里。奥拉自己说,总有一天这件事不再压在他一个人身上,他想过那时离开会不会内疚;如果不会内疚,他就去乡下打理园子,做他最喜欢的数学——「采菊东篱下,悠然见南山」。
相关链接
- New York Times 原文:https://www.nytimes.com/2026/09/29/us/anthropic-claude-morals-ai.html
- Anthropic 情绪研究论文:https://transformer-circuits.pub/2026/emotions/index.html
- Anthropic 人格选择模型研究:https://www.anthropic.com/research/persona-selection-model
- Mustafa Suleyman 对模型福祉的警告:https://mustafa-suleyman.ai/a-warning-about-model-welfare