什么是 MLPerf Endpoints?为什么它对企业采购者重要
摘要
MLCommons 发布 MLPerf Endpoints 基准,把推理评测从单一调优配置的定点跑分,改为在类生产负载下测量完整已部署端点,并以帕累托前沿形式给出跨并发度的性能曲线,帮助采购方按自身 SLA 选型。
核心要点
- Endpoints 测的是完整服务端点——模型、硬件、服务软件与网络协同工作,而非孤立配置
- 五个主指标:并发数、首 token 时间 P90、系统吞吐(tokens/s)、每瓦吞吐(以配置功耗归一化,作为 TCO 代理)、单用户交互性(tokens/s/user)
- 结果为跨并发度的帕累托前沿,覆盖从低并发交互式使用到高并发服务;固定点上得分相同的两个系统,在买家的实际工作负载点可能表现迥异
- 采用滚动提交、每隔数周发布一批结果,以跟上当前模型与软件而非滞后数月
- 结果带明确状态:verified(经 MLCommons 同行评审)、provisional(已提交并通过初检、待评审)、unverified(从未提交评审),并遵循既定审计流程
原文佐证
- Endpoints measures a served endpoint: the model, hardware, serving software, and networking together, under realistic load, the way customers actually consume inference.
- An Endpoint result is a Pareto frontier of operating points across concurrency levels, so you can see throughput and responsiveness at the load that matches your various workloads and SLAs
- Two systems with identical scores at a fixed point can behave very differently at your operating point, and only the curve shows it.
AI 洞察
推理评测的竞争焦点正从“峰值跑分”转向“负载曲线与每瓦成本”,这会把选型话语权从厂商的营销数字转移到买方的真实 SLA 上。若滚动发布与三级审核被广泛接受,缺乏可审计端点数据的硬件与推理服务商将在企业采购中处于结构性劣势,而 TCO/能效指标也会被进一步推到谈判桌中心。