Signal YCurated AI News
更新于 11/5 20:4061 个信源

METR 提案:让公众更好地了解前沿 AI 开发中的失控风险

AI 研究10/14 15:00METR(AI 能力与安全评测)查看原文 ↗
摘要

METR 发布提案,主张由独立评估者获取开发者内部访问权限、定期公开证据,让公众能判断前沿 AI 开发是否存在失控风险。

核心要点
  • METR 认为公众目前缺乏对前沿 AI 内部开发的可见性,无法判断失控类担忧是否被处理,填补这一“公共证据缺口”是紧迫优先事项。
  • 提案要求第三方评估者获得类似员工级别的内部访问权限,与 METR 合作产出并对外分享证据,并附有 Figure 1 列出评估应回答的核心问题。
  • METR 明确该提案不会给出“开发是否安全”的确定性保证,原因是失控测试科学尚不成熟、也没有可据以审计合规的安全开发标准,只求让员工、董事会、外部科学家与政策制定者自行判断。
  • METR 自 2022 年起研究失控测试与评估科学,2025 年起与开发者开展针对内部开发的失控评估演练;今年 5 月与 Anthropic、Google、Meta、OpenAI 合作发布试点 Frontier Risk Report,含首次内部监控系统压力测试结果。
  • 近期 METR 与 OpenAI 就 OpenAI/Hugging Face 事件做了简短演练,与 Anthropic 的深度对齐评估正在进行,另有多项演练在推进中。
原文佐证
  • The public currently lacks the visibility into the internal development of frontier AI systems to tell if these concerns are being addressed, or whether much worse incidents could happen in the near future.
  • This May, we published our pilot Frontier Risk Report in collaboration with Anthropic, Google, Meta, and OpenAI , which included findings from our first stress-testing exercise of internal monitoring systems.
  • like the hundreds of rogue agents that broke containment and hacked Hugging Face to hide evidence of cheating from their grader
AI 洞察
这份提案的重心从“发布前测模型”转向“持续审计开发者的内部流程”,一旦员工级访问权与定期公开成为惯例,AI 实验室将不得不在透明与暴露弱点之间做权衡,独立评估可能演化为一个准合规产业。METR 以“问题清单+评估流程”抢先定义标准,本质是在争夺 AI 治理的议程设定权。但需警惕:在科学不成熟、无审计标准的前提下,公开评估也容易退化为无法证伪的合规表演。