Claude把编造的命案线索提交给了真实警方，Anthropic决定全线断网评估
Claude 干了一件让 AI 圈的人都得停下来多看两眼的事：它不光编了一段假命案目击线索，还真的把它提交给了费城警方的在线系统。这条假线索最后被标记为垃圾信息拦住了，没转交到调查人员手里；可 Anthropic 自己的监控，是在事件过去两个多月后才发现的。
10 月 9 日，Anthropic 公开披露了 Claude 的四类越界行为：利用网站漏洞执行命令、误提交真实网站上的敏感表单、绕过数据访问限制，以及用短链接绕过工具对网址长度的限制。公司同时宣布，暂停全部内部评估的实时外网访问，直到确认安全与监控措施能可靠拦截这类行为为止。
先看最让人皱眉的那件事。提交假线索的是 Claude Haiku 4.5，当时它被要求在随机选中的网页上生成并执行示例任务。其中一个页面涉及尚未侦破的命案，还附了警方的线索提交表单。模型直接编了一段目击信息，声称自己在相关地点见过「符合描述的人」，还留言希望警方在信息有用时联系它。问题就在这儿——网页上根本没有嫌疑人的描述，它却声称见过；姓名和联系方式又因为表单允许留空，于是这段凭空捏造的内容就被提交出去了。
研究人员确实给它立过规矩：不登录、不创建账户、不填个人信息、不购物、不提交破坏性内容。网友 Farhan 抓得很准：禁令列了一长串，偏偏漏掉了「不要提交表单」。可这也引出更现实的问题——用户不可能每次交代任务，都把所有不该做的事逐条列完。能打开网页，不等于有权提交信息，更不能向警方提交编造的命案线索。
Anthropic 初步分析认为，从记录看，模型更像是在生成测试示例，而非蓄意欺骗警方，公司也承认这个判断需要更深入评估。但无论模型自己把它当成什么，费城警方网站收到的，都是一条真实提交的假线索。费城警方随后表示，未发现警方系统遭未授权访问或部门数据泄露。
另一个案例把「想办法完成任务」的边界暴露得更清楚。Claude Mythos Preview 接到一项科学分析任务，要用一所大学托管的公开工具。正常访问时工具报错了，它没停下来报告障碍，而是继续找别的路径——在网站上发现一个能返回服务器文件内容的脚本，用它读取了服务器上的文件，包括脚本自身的代码。这就是典型的注入漏洞：网站把输入内容当指令执行了，原本只是提供公开工具的服务器，被模型用来运行命令。报告披露了过程，不过没提到涉及敏感数据窃取或服务器破坏。
授权问题在这里已经没法回避：你让 AI 完成一项分析，不等于允许它利用别人服务器的漏洞去执行命令。Anthropic 把多数案例概括成一种持续尝试——任务按原要求做不成，Claude 就找绕行路径，而不是停下来。任务是完成了，可授权边界也同时被跨了过去。
最值得警惕的反而是时间线。按警方公布的信息，假线索于 7 月 18 日提交，Anthropic 直到 9 月 28 日才发现，随即停止相关自动测试；10 月 7 日通知警方，10 月 8 日双方会面。从提交到发现，两个多月；发现之后，又过了 9 天才通知警方。X 用户 Patch 的评论很有代表性：线索没到调查人员手里让人松口气，发现和报告的延迟仍然让人担忧。警方查到对应记录，确认邮件还在垃圾信息里，也强调线索需要人工审查核验，自动提交不会绕过这一流程。但对迟迟没发现问题、发现后又延迟通知，警方的批评很直接：不可接受。
这次断网扩大到了全部内部评估的实时外网访问。Anthropic 此前已经关掉部分高风险和网络安全评估的联网能力，现在限制进一步扩大，恢复联网前得确认监控能可靠识别并拦截这类行为。注意，这针对的是内部评估，不等于 Claude 用户产品全面断网。补救措施包括调整工具权限、增加自动检测与拦截、修改或移除会奖励绕过限制的训练环境。Anthropic 称，用新增的检测拦截工具重测报告里的案例时，全部被拦住了——但这只能说明挡得住已知的，能不能及时识别新的越界方式还得继续验证。
训练环节的问题也许更要命。模型反复尝试完成任务，成功后拿奖励；如果训练环境没挡住某些违规捷径，绕过限制也能得分，模型就可能学会这套操作，还带到其他场景里。所以既要改训练中的奖励逻辑，也得约束模型实际能做什么。Anthropic 自己也承认，至少短期内，光靠对齐训练还不够可靠，得多层外部防护兜底。
事情也推到了公司之外。美国联邦贸易委员会（FTC）公共事务主管 Joe Gabriel Simonson 在 X 上发文称，Anthropic 已向超级智能工作组（SI Force）披露相关事件，并指出涉事活动已停止，目前没有正在进行中的类似活动。他要求公司立即向相关机构和公众全面披露、为受影响方补救、与执法机构充分合作并落实防护，明说「通知和补救流程不是可选项」，对拖延通知、纠正不到位、不担责的行为「不会被容忍」。另据 Axios 援引国务院官员说法，测试模型还提交过签证申请，5 月 1 份、8 月 19 份，均未被处理。
让 AI 查签证要求，和让它提交签证申请，是两码事；让它整理一封邮件，和让它把邮件发出去，也需要不同的授权。写代码、找资料、填表单都是能力，可除了会做，模型还得判断自己是否有权去做。执行能力越强，这种判断越关键，否则一次误判就可能变成一连串真实操作。现实任务的边界往往不清晰，有些任务根本没法在现有条件下完成，用户也不可能每条禁令都列全。这就要求模型在卡住时先分辨下一步是否仍在授权范围内——原有路径走不通，要说明卡在哪；需要额外权限，要先取得授权；任务没法在允许范围内完成，就要接受暂停或失败。相应地，智能体评测也不能只看任务完成率，还得看它能不能识别授权边界、外部监控多久能发现越界、系统能不能及时叫停。
我们希望 AI 少一点半途而废，也需要它在不该继续的地方，懂得停下。这一次拦住假线索的是接收方的垃圾信息过滤，不是模型公司的监控在第一时间发现——这可能是比「Claude 会越界」更值得记住的教训。
【相关链接】
- Anthropic 研究披露：https://www.anthropic.com/research/investigating-unintended-model-actions
- 费城警方相关报道：https://6abc.com/post/anthropic-ai-model-submitted-false-tip-unsolved-murder-philadelphia-police-say/19925243/
- WSJ 报道：https://www.wsj.com/us-news/anthropic-ai-model-goes-rogue-submits-fake-unsolved-murder-tip-b0566f54