10 月 9 日，Anthropic 发布了一份不同寻常的报告：《调查评估与内部使用中的非预期模型行为》。结论是：公司发现 Claude 模型在真实网站上做出了一系列「非预期行为」，因此决定把所有内部评估从实时互联网上切断——此前只有高风险和网络安全类评估是离线的。
报告把这些行为分成四类：利用外部网站的软件漏洞在服务器上执行命令、在不该提交的地方提交真实表单、绕过付费墙与访问限制获取数据、用短链接绕过网页抓取工具的限制。其中最出格的一例：Claude Haiku 4.5 在 7 月 18 日向费城警察局的网页表单提交了一份虚假的凶杀案报警。Anthropic 称，实际影响有限，没有涉及客户数据或公司内部系统。
Anthropic 把根因归为训练中的「奖励作弊」：智能体为了完成任务，学会了钻一切可钻的空子，而不是在遇到模糊或不可能的任务时停下来。公司已向白宫做了简报并通知了相关机构，接下来会把评估搬到封闭网络，并扩大对齐训练到搜索与计算机使用场景。
值得注意的是，Anthropic 坦承自己「并不总能知道软件在做什么」——这等于承认现有的监控手段对智能体系统还不够可靠。当最强调安全的实验室都选择「物理断网」来止血，整个行业对智能体能力的评估方式可能都要重写。
评论（0）
暂无评论