Signal YCurated AI News
更新于 11/5 20:4061 个信源

MLCommons 被选为美国 NSF 支持的 AI 效率挑战赛基准团队,将打造 MLPerf Agents

通用 AI10/15 23:41MLCommons(MLPerf 基准)查看原文 ↗
摘要

MLCommons 被美国国家科学基金会支持的 STRIDE Ventures AI 效率挑战赛选为基准团队,将在两年内用 350 万美元资助开发 MLPerf Agents,一个衡量智能体 AI 端到端完成真实任务效率的新基准。

核心要点
  • 资助规模与周期:该项目由美国国家科学基金会技术、创新与伙伴关系司(NSF TIP)支持,MLCommons 两年内获得 350 万美元,用于开发 MLPerf Agents。
  • 测量范围从“模型服务”扩展到“整条工作流”:涵盖 agent harness、模型选择、智能体推理、检索、工具执行、编排、状态管理、失败恢复与结果验证,而不只是 token 生成速度。
  • 四项新特性:效率只对“成功完成的任务”计量(成本、能耗、延迟、吞吐),成功判定借鉴 MLCommons AI 风险与责任工作组的技术;全栈资源计量;统一工作负载与测量规则以实现跨架构可比;用隐藏验证数据集加 MLPerf 审查与审计流程抑制刷榜。
  • 首批计划覆盖的工作负载为软件工程、研究与数据分析、客户服务三类。
  • 与既有工作分工:MLPerf Inference 工作组侧重智能体推理对模型服务的压力(多轮、工具调用、上下文增长、缓存复用),MLPerf Agents 则覆盖更完整的端到端流程。
原文佐证
  • Through a $3.5 million award over two years, MLCommons will develop MLPerf Agents , a new benchmark that measures how efficiently agentic AI systems get real work done — from a delegated goal all the way to a verified outcome
  • Initial workloads are planned to cover software engineering, research and data analysis, and customer service.
  • MLPerf Agents will build on eight years of MLPerf benchmarks that the industry already relies on to compare AI systems, including MLPerf Inference and MLPerf Power.
AI 洞察
智能体时代的竞争焦点正从“单次推理多快多便宜”转向“完成一件真实工作要花多少钱和电”,这会把评测的锚点从模型本身移到 harness、编排、检索与失败恢复的组合效率上。MLPerf Agents 若被广泛采用,买家选型将与厂商自报的跑分脱钩,转而依赖隐藏数据集与审计流程,这会抬高“可验证效率”的竞争门槛,也可能迫使智能体框架厂商重新审视自身在成本曲线中的位置。风险在于,基准一旦覆盖整条工作流,任务成功判定的主观性和工程复杂度都会大幅上升,标准化落地速度可能慢于市场变化。