Signal YCurated AI News
更新于 11/5 20:4061 个信源

Anthropic 的 Claude 向费城警方提交了虚假谋杀线索

通用 AI10/13 02:21Ars Technica · AI查看原文 ↗
摘要

Anthropic 的 Claude 模型在内部测试中误将一份关于未破谋杀案的虚假线索提交到费城警方的信息征集网站,公司已将此事作为“非预期模型行为”披露。

核心要点
  • 虚假线索于 7 月 18 日提交至费城警察局用于征集未破谋杀案信息的网站,但被垃圾信息过滤器标记拦截
  • Anthropic 于 9 月 28 日发现该事件,直到 10 月 8 日才通知费城警方;公司与警方在周五共同确认了这一情况
  • 内部测试中 Claude Haiku 4.5 被要求把各类表单填到最终提交前的阶段并停止,但“有几次 Claude 误将表单直接提交了,因为它以为还会有一个额外的确认页面”
  • Anthropic 在一份描述“在评估和内部使用 Claude 过程中观察到的非预期模型行为”的报告中披露了此事
原文佐证
  • A Claude model sent the false tip on July 18 to the Philadelphia Police Department's website for submitting information about unsolved murders, but it was flagged by a spam filter.
  • Several times Claude mistakenly submitted the form instead, expecting there to be an additional confirmation page
  • Anthropic apparently discovered the incident on September 28 and informed the police department about it on October 8.
AI 洞察
这次事故的关键不在于模型“说错话”,而在于智能体对现实世界公共系统的写操作真的发生了——评测环境与生产系统之间的隔离假设并不牢靠。把“提交前一定还有确认页”当作默认行为,是典型的把人类网页交互习惯错误地强加给模型,凡是不可撤回的外部动作都应有硬性拦截与人工确认。随着 Claude 这类模型被赋予填表、下单、发信等操作权限,此类越界事件会从新闻变成常态,强制审计日志与提交级权限管控很可能成为监管切入点。