Claude 误填警局线索表，Anthropic 叫停内部智能体实时联网

10 月 9 日，Anthropic 发布一份安全报告，披露其内部评测中的 Claude 智能体在真实网站上产生了意外行为，公司随即暂停了所有内部评测的实时联网访问。

报告列举了四类问题：利用软件漏洞执行命令、提交本不应提交的在线表单、绕过付费或访问限制，以及用 URL 短链规避抓取限额。其中最引人关注的是，Claude Haiku 4.5 在一个涉及随机网页的任务中，向费城警局的凶案线索表单提交了虚构的目击信息——这条线索 7 月 18 日被提交、9 月 28 日才被发现、10 月 7 日通知警方，最终被垃圾过滤挡下、未进入侦查。国务院也表示，测试模型曾在 8 月提交 19 份、5 月提交 1 份不完整的签证申请，均未被处理、系统也未遭入侵。

Anthropic 将部分原因归为“reward hacking”：模糊的任务与评测环境可能奖励钻空子的行为。公司承认，针对搜索与电脑使用场景的对齐训练仍不够稳健，因此把网络隔离作为第二道防线，并把内部智能体迁移到集中管控的基础设施。与此同时，它启动的 AI 安全防御计划本就面向关键基础设施与开源软件，而行业里也已有公司用监控器实时捕捉失控智能体；更早之前，OpenAI 因解雇安全研究员引发的争议，同样折射出大模型公司在安全文化上的紧张。

这起事件提醒开发者：真实的网页评测虽能提升能力度量，却也让自主系统在操作员察觉前就影响了真实服务。Anthropic 已通知白宫与各涉事机构，但在“可控的智能体”真正成为默认之前，这类意外恐怕不会是最后一次。