Signal YCurated AI News
更新于 11/5 20:4061 个信源

METR:我们如何与 AI 公司合作开展安全评测

AI 研究10/14 15:00METR(AI 能力与安全评测)查看原文 ↗
摘要

METR 撰文说明其与 AI 公司合作开展失控风险评测时的目标、方法、角色边界与透明度要求,强调只为公众收集并公开证据,不替企业做开发部署决策。

核心要点
  • METR 的核心使命是收集并公开发布“人类是否会大规模失去对 AI 智能体控制”的证据,主要手段是与 AI 公司合作开展评测、评估与调查并公开发现
  • 除公开报告外,METR 也可能就未公开的敏感信息向企业或监管机构提供意见、审阅风险报告,或对风险主张给出独立判断
  • METR 明确划出边界:不打算决定企业应如何开发或部署智能体,认为风险水平与可接受风险水平都应公开讨论,而非在闭门或单一组织内部决定
  • 对直接影响公众风险认知的工作(如部署前测试、风险报告审阅),METR 承诺至少公开三项:约定的工作范围与时长、访问限制的性质及其是否影响结论、企业所做的删改情况
  • METR 承认其局限:许多相关风险主张涉及开放的科学问题,无法被直接验证,因此读者需要了解产生这些结论的流程、约束与激励
原文佐证
  • Our goal is to give the public accurate, timely, and independent evidence about AI loss-of-control risk, so that they (along with policymakers and developers) can make their own informed decisions .
  • We see it as our role to collect evidence for the public; we do not intend to decide how companies should develop or deploy their agents.
  • Scope and duration: We should publicly describe the agreed-upon scope and duration of our work.
AI 洞察
第三方评测机构正在把“透明度”本身当作最重要的可信度资产:公开评测范围、访问限制与企业删改,等于把“企业是否干预了结论”变成可被外部核查的公开信息。这意味着未来 AI 安全声明的可信度,将更多取决于评测方的独立性披露,而非企业自述。对企业而言,与评测机构签订的合同条款(范围、删改权、访问权限)本身会变成潜在的声誉风险点。