英国 AISI 与 EvalEval 如何让基准测试结果可复现
摘要
英国 AI 安全研究所(AISI)开始使用 EvalEval 的 Every Eval Ever schema 与 Evaluation Cards 平台,公开一批经核验的评测结果、上下文与配置信息,让前沿模型的基准表现可复现、可验证。
核心要点
- AISI 公开的评测覆盖论文主实验中的五个基准:HealthBench、FrontierMath、Humanity's Last Exam、SWE-Bench Pro 与 Terminal-Bench 2.0。
- 结果覆盖六个前沿模型:Claude Opus 4、4.5、4.6,以及 GPT-5、5.2、5.4。
- 公开内容还包括两个网络安全类评测 Cyber CTFs 与 The Last Ones,其涉及的模型集合不同、与前者部分重叠。
- 发布的不只是分数,还包含经核验的结果、上下文(context)与配置(configuration)信息,强调 transcript 级别的透明度。
- 双方合作始于与 NeurIPS 2025 同期举办的联合工作坊,AISI 的反馈直接影响了 Every Eval Ever(EEE)schema 的设计。
原文佐证
- The EvalEval Coalition is thrilled to share that the UK AI Security Institute (AISI) is using EvalEval's infrastructure to openly share evaluation results, supporting more reproducible and verifiable evaluation science.
- The release includes verified results, context, and configuration information for the five benchmarks in the paper's main experiment: HealthBench FrontierMath Humanity's Last Exam SWE-Bench Pro Terminal-Bench 2.0
- These results cover six frontier models: Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2, and GPT-5.4.
AI 洞察
评测结果的可复现性正在从学术规范升级为 AI 治理的基础设施:当国家级安全机构把结果托管进开放 schema,评测透明度就从「自愿披露」走向「格式标准」,掌握 schema 与平台的一方实际上获得了定义模型能力叙事的事实解释权。若这类 Evaluation Card 日后被监管或采购流程引用,缺少可复现配置信息的模型报告可能直接变成合规与商业竞争上的短板。