Signal YCurated AI News
更新于 11/5 20:4061 个信源

DLRMv4:下一代推荐系统 MLPerf 训练基准

AI 产业10/1 22:50MLCommons(MLPerf 基准)查看原文 ↗
摘要

MLCommons 发布推荐系统训练基准 DLRMv4,以 HSTU 序列模型取代传统特征交互架构,并配套生产级数据集 Yambda-5B。

核心要点
  • 现行 DLRMv2 采用 encode-then-interaction 管线:数值特征走 bottom MLP、类别 ID 走 embedding 查表,再由交叉网络等特征交互模块处理;交互模块只能看到衰减计数、比率、池化 embedding 等预聚合特征,看不到原始行为流。
  • DLRMv4 用 HSTU(transducer)直接以序列形式读取用户最近交互历史,取代特征交互栈。
  • 配套数据集 Yambda-5B 是真实的多行为音乐收听记录集合,嵌入足迹扩展到 560 GB 的生产级规模。
  • 计算与内存特性发生变化:计算复杂度现在涉及对长用户历史的注意力,嵌入表则需跨多张现代加速器分片。
  • MLPerf 推理套件此前已有基于 HSTU 的基准,训练套件则缺乏对应工作负载,DLRMv4 正是为填补这一空白。
原文佐证
  • DLRMv4 fills that gap by replacing the feature-interaction stack with HSTU [2], a transducer that reads a user s interaction history directly as a sequence, and it trains with a new dataset, Yambda-5B [5], a real multi-behavior collection of music listening activity, scaled to a production-class embedding footprint of 560 GB.
  • Models built this way keep improving as compute and parameters grow, while earlier feature-interaction designs flatten out.
  • The interaction module is where most modeling effort has gone, but it never sees the raw behavior stream.
AI 洞察
基准是行业事实标准:当 MLPerf 训练套件从特征交互转向序列注意力,硬件厂商的优化目标、采购评估口径与芯片设计重心都会随之迁移——大 embedding 表分片与长序列注意力将取代稠密矩阵吞吐成为新的竞争维度。同时,训练与推理基准同源(均基于 HSTU)意味着推荐系统的软硬件协同验证闭环开始形成,这对超大规模推荐平台与加速器厂商都是可复用的基准锚点。