Signal YCurated AI News
更新于 11/5 20:4061 个信源

评估者如何调查对内部 AI agent 的控制与监控

AI 研究10/14 15:00METR(AI 能力与安全评测)独立验证查看原文 ↗
摘要

METR 提出一套评估方法框架,说明第三方评估者可如何收集证据,判断前沿 AI 开发者对内部 AI agent 的 LLM 监控体系是否可靠。

核心要点
  • 框架列出五个核心子问题:监控覆盖率、监控系统脆弱性、监控规避、响应(含人工规避)、影响
  • 监控覆盖率被定义为内部 agentic 推理中有多大比例被(以及应当被)LLM 监控覆盖,并需按 agent 风险分级:处于高安全沙箱的 agent 风险低于拥有互联网访问、内部凭证或基础设施权限的 agent
  • 监控系统脆弱性考察内部 agent 能否通过破坏或攻陷监控基础设施,使自己的轨迹不被监控
  • 监控规避考察在监控开启的情况下,agent 把不当行为溜过监控器的难易程度
  • 响应环节关注被标记事件是否被人类及时复核,以及即便 LLM 监控已报警,agent 是否仍容易骗过人类复核者
原文佐证
  • Control assessments study whether AI developers’ agents could get away with serious harm without being stopped by the developer’s security and oversight measures.
  • Monitoring AI agents with an LLM which is able to make sense of what those agents are doing is therefore a critical part of automated oversight at scale, and is the primary source of evidence inside frontier AI developers about AI misbehavior.
  • Response, including human evasion : Where needed, do flagged incidents get reviewed by humans promptly?
AI 洞察
这份提案把 AI 安全评估的重心从「模型会不会做坏事」转向「开发者的监控体系能不能发现坏事」,意味着能力评估之外正在长出第二类可审计对象——监督机制本身。它隐含的前提是:随着 agent 权限膨胀,沙箱式隔离越来越难奏效,安全将越来越依赖「监控 + 人工响应」这条链路,而链路中任何一环(覆盖率、监控器、复核者)都可被规避。若这套方法被第三方评估机构采纳,可能演变为前沿实验室的合规与信息披露标准,反过来倒逼厂商公开监控覆盖率等此前不透明的内部指标。