Signal YCurated AI News
更新于 11/5 20:4061 个信源

MLPerf Training 推出首个 LLM 后训练基准

AI 产业9/24 22:50MLCommons(MLPerf 基准)查看原文 ↗
摘要

MLCommons 宣布 MLPerf Training 将从 2026 年 10 月的 v6.1 提交轮次起新增首个 LLM 后训练基准,采用 RLVR 与 GRPO 在沙箱软件工程任务上评测,基准模型选定 Qwen 3.5 397B。

核心要点
  • 时间与定位:新基准自 2026 年 10 月的 v6.1 提交轮次启用,与既有预训练基准并列,补上后训练这一环。
  • 方法机制:采用可验证奖励强化学习(RLVR),智能体每次尝试算一个 rollout,系统采样多个 rollout 并给出二值 pass/fail 奖励,再用 GRPO 在组内比较奖励、更新权重进入下一轮 rollout。
  • 规模预算:该基准需在 1024 GB300 小时内跑完一个真实后训练工作负载,覆盖蒸馏、强化学习与监督微调,涉及数学、推理与智能体任务。
  • 复杂度:这是 MLPerf Training 迄今最复杂的系统级集成,需要同时部署训练、推理和智能体环境三类组件,数百并发 rollout 争夺 CPU、GPU、内存与存储资源,且对数值精度极为敏感。
  • 基准模型:选用 2026 年 2 月发布、Apache 2.0 开源的 Qwen 3.5 397B,总参数 3970 亿、每 token 激活 170 亿;每个 MoE 层激活 1 个共享专家加 512 个路由专家中的 10 个(2%)。
原文佐证
  • MLPerf Training is adding a new LLM Post-Training benchmark beginning with the v6.1 submission round in October 2026, complementing the existing suite of pre-training benchmarks.
  • we selected the Reinforcement Learning with Verifiable Rewards (RLVR) method because it is well suited to software tasks
  • The model selected for this benchmark is Qwen 3.5 397B, the largest model in the Qwen 3.5 family released in February 2026.
AI 洞察
当后训练取代预训练成为能力增长主引擎,评测的焦点也从单纯的算力规模转向训练、推理与智能体环境三者的协同调度能力,基准分数将更直接反映集群在 rollout 密集型负载下的真实效率。以开源权重模型 Qwen 3.5 397B 作为统一基准,意味着开放模型正成为行业标准评测的底座,也让硬件厂商的优化目标从训练吞吐扩展到端到端的后训练流水线。考虑到提交期定在 2026 年 10 月,这套指标的早期结果很可能成为 2027 年前后大规模算力采购与集群架构设计的参考依据。