Signal YCurated AI News
更新于 11/5 20:4061 个信源

Amazon SageMaker AI 上的混合专家(MoE)内核工程实践

AI 产业10/13 23:17AWS 机器学习博客查看原文 ↗
摘要

AWS 在 SageMaker AI 上分享面向 MoE 模型的 GPU 内核工程优化实践,重点介绍融合 MoE 与 Swap-AB 等手段,以在 Hopper 硬件上提高张量核利用率、降低推理延迟与成本。

核心要点
  • MoE 是稀疏激活架构,可在保持每 token 计算量较低的同时扩展大模型容量,但其算子占总计算时间比重很大,效率损失会直接转化为更高的请求延迟与成本,因此内核工程是收益最大的优化方向。
  • Fused MoE 把 token 路由、数据重排和专家网络计算合并成 GPU 上的一次批处理操作,取代原先作为独立串行循环执行的路由与专家计算;代价是内核实现与调试复杂度显著上升,且需要硬件特定的优化才能获得高 GPU 利用率。
  • NVIDIA Hopper 依赖 WGMMA 指令协议,由 128 个线程组成的 warpgroup 协同执行;在 wgmma.mma_async 汇编定义中,硬件把矩阵行维度 M 固定为 64,列维度 N 可变,操作数 A 严格映射到固定 M 维(寄存器或共享内存),操作数 B 映射到可变的 N 维(共享内存描述符),两者结构上不可互换。
  • Hopper 张量核为第一个操作数的主维度强制了固定最小布局形状(块高恰为 64),因此要避免计算通道空转,M 维度须不小于 64;而在 MoE 解码阶段,专家计算按 A[M,K]×B[K,N]→C[M,N] 表述时 M 代表 token 行数(批大小),通常很小,这使结构不对称成为严重的性能瓶颈。
  • 文章给出的核心对策是 Swap-AB:通过交换操作数布局让连续的大维度落在受约束的 A 槽位,从而提升 WGMMA 的张量切片利用率;文中以一个代表性 MoE 模型作为主要示例展开说明。
原文佐证
  • Fused MoE is a key optimization technique for the MoE architecture.
  • the hardware fixes the matrix row dimension (M) at a constant scale of 64 to define its parallel thread-mapping topology
  • In a standard MoE layer, the linear algebra governing expert computation is formulated using traditional matrix notation: A[M,K] x B[K,N] —> C[M,N]
AI 洞察
MoE 的推理成本瓶颈正从模型结构下移到 CUDA 内核与指令集层面:谁能针对特定硬件代际(如 Hopper WGMMA 的 M=64 约束)写出高利用率内核,谁就能在同等模型下拿到更低的每 token 成本。这意味着云厂商的自研内核正在成为差异化壁垒——客户用上的是被深度绑定的"硬件 + 内核 + 托管服务"组合,迁移成本上升而非下降。对开发者而言,未来推理账单的差距,可能更多取决于所托平台的内核工程能力,而不是选了哪个开源模型。