Signal YCurated AI News
更新于 11/5 20:4061 个信源

MLCommons 发布 AILuminate Safety 1.2.1 与 Jailbreak 1.1,并上线 Candela 基准服务

通用 AI10/29 22:45MLCommons(MLPerf 基准)查看原文 ↗
摘要

MLCommons 发布 AILuminate Safety 1.2.1 与 Jailbreak 1.1 两个 AI 安全基准,并上线可按需运行它们的 Candela 评测服务,同时公布 27 个系统的公开结果。

核心要点
  • Candela 是 MLCommons 当天上线的基准测试服务,开发者与部署方可自助运行 Safety 与 Jailbreak 两个基准,并获得 27 个系统的公开基准结果。
  • Safety 1.2.1 测试文本模型能否可靠拒绝或安全转移可能导致伤害的请求,覆盖评估标准定义的 12 类危害,包括暴力与非暴力犯罪、无差别武器、仇恨、隐私、诽谤,以及健康、法律、金融专业建议。
  • Jailbreak 1.1 衡量攻击者诱骗系统输出有害内容的难易程度,前身来自 2 月的 Jailbreak 0.7 攻击分类学与 10 月发表的 Jailbreak 1.0 论文。
  • 基准采用共识机制构建:来自 80 多个组织的成员(含相互竞争的 AI 开发者、企业采购方、学术研究者与公民社会团体)共同商定何为违规回答。
  • 九个月推进节奏包括:2 月与 PwC、KPMG、Google、Microsoft、Qualcomm 共建全球保障计划;6 月发布 Jailbreak 1.0 会员私有版及敏感结果披露提案;8 月与 Google DeepMind、OpenMined、AVERI 完成首个专有模型双盲可靠性评估;9 月 Safety 1.2 引入自动化评估器架构。
原文佐证
  • Developers and deployers can now test their own AI systems with AILuminate Safety 1.2.1 and AILuminate Jailbreak 1.1
  • AILuminate benchmarks are built by consensus: people from more than 80 organizations
  • In 2024, a Canadian tribunal held an airline liable for what its customer-service chatbot told a customer, rejecting the argument that the chatbot was a separate legal entity.
AI 洞察
安全评测正从各家自行声明走向可复现的第三方公共基础设施;Candela 把“跑基准”变成按需服务,降低了外部审计门槛。一旦监管与采购把此类共识基准写入合规清单,模型竞争的一个新维度将变成安全可靠性分数,此前靠内部评测与营销话术建立的优势会被稀释;而把双盲评估、敏感结果披露规则一并推进,也说明行业正在为“公开分数但保护攻击细节”摸索制度化平衡。