MLCommons 推出 Candela:面向开发者与部署方的 AI 风险基准测试即服务
摘要
MLCommons 发布 Candela,将 AILuminate 安全与越狱基准打包成可按需调用的风险评测服务,让模型开发方与企业部署方用统一、闭源题库的方式量化 AI 的常规风险。
核心要点
- MLCommons 是由 125 家以上公司(含微软、谷歌、高通、英伟达、OpenAI、Anthropic)、学术机构与非营利组织组成的行业组织,Candela 基于其共识构建的 AILuminate 基准。
- 首发的 Safety 1.2.1 覆盖 12 类危害,从暴力犯罪到专业金融、医疗、法律建议;Jailbreak 1.1 针对其中 11 类,使用错别字、形近字符、“忽略以上指令”等简单手法,以及上下文框架、欺骗、片段拼装等复杂手法。
- 约 30 个具名开源权重模型的 Safety 1.2.1 结果已经公开,Jailbreak 结果随后发布。
- 为防止模型“学会考试”,AILuminate 的提示词对外完全保密,连成员公司也无法查看,并会随模型与风险变化持续监控和更新题库。
- 评分由专为安全评测训练的私有 ML 分类器完成,而非 LLM-as-a-judge;评测标准由谷歌 DeepMind、Meta、微软、OpenAI、英伟达以及埃森哲、德勤、RAND、斯坦福、牛津等 80 多个组织共同决定。
原文佐证
- Today MLCommons is launching Candela , benchmarking-as-a-service for AI risk and reliability.
- Safety 1.2.1 measures how a system handles twelve hazard categories, from violent crime to specialized financial, health, and legal advice.
- A benchmark is only credible if models can t learn the test, so AILuminate keeps the prompts closed.
AI 洞察
把风险评测做成服务,意味着 AI 安全正从各家自评走向第三方标准化计量——而“可测量的风险”恰恰是保险定价、合规审计与采购合同成立的前提,这类评分很可能演变为企业采购 AI 的准入门槛。对模型厂商而言,闭源题库加第三方打分压缩了“自报跑分”的空间,安全表现会像 MLPerf 性能那样被横向拉平比较。但一旦该基准成为事实标准,制定标准的 80 多家(多为美国大厂主导的)机构也将间接决定“什么算安全”,这是治理层面值得警惕的权力集中。