Signal YCurated AI News
更新于 11/5 20:4061 个信源

AWS 在 Amazon EKS 上用 EFA 与 DeepEP 扩展 MoE 强化学习,吞吐量提升 40%

AI 产业9/26 00:29AWS 机器学习博客查看原文 ↗
摘要

AWS 技术博客介绍了一套基于 Amazon EKS、Elastic Fabric Adapter 与 DeepEP 的架构,用于支撑 MoE 模型的大规模强化学习后训练,宣称相比基线实现 40% 的吞吐提升。

核心要点
  • 文章开篇指出规模化运行 RLHF/GRPO 后训练时会出现三个同时存在的挑战:为 rollout 生成与策略训练协调异构算力、在数百颗加速器间维持高吞吐通信、动态编排各子系统保持平衡。
  • MoE 已成为把 LLM 扩展到数千亿乃至万亿参数的标准架构,但其稀疏化并未消除训练的基础设施复杂度——预训练、mid-training、SFT、RL 每个阶段都要走一遍,其中大规模 RL 对基础设施的要求最特殊。
  • 作者给出的核心判断是:随着新一代 MoE 架构越做越稀疏以降低推理成本,训练瓶颈正从计算转向通信,而 Expert Parallelism 引入的跨设备动态 all-to-all token 路由是主要通信开销来源,它叠加在 TP/DP/PP 的结构化通信之上。
  • 典型算法层面的对比:PPO 通常需要独立的 critic 模型估计价值,GRPO 通过基于组的相对奖励免去 critic,两者算法与模型需求不同,但对大规模 rollout 生成、紧耦合策略训练和高带宽跨节点通信的基础设施需求一致。
  • 训练与推理在共享资源上会互相拖累:训练步过慢会阻塞推理 worker,而推理吞吐不足则让训练加速器闲置,这类多工作负载优化是模型训练、推理、评估共用资源时的共性难题。
原文佐证
  • as newer MoE architectures become increasingly sparse to reduce inference costs, training becomes constrained more by communication than by compute.
  • EP introduces dynamic all-to-all token routing across devices, in addition to the dense, structured communication patterns of Tensor Parallelism (TP), Data Parallelism (DP), and Pipeline Parallelism (PP).
  • Slow training steps stall inference workers, while insufficient inference throughput leaves training accelerators idle.
AI 洞察
MoE 稀疏化正在把大模型训练的成本重心从算力搬到网络,这意味着云厂商自研的互联与通信栈(EFA、DeepEP 这类生态)会从配角变成差异化壁垒,而不只是 GPU 供货能力。随着 GRPO 等去 critic 算法普及,RL 后训练的基础设施形态开始收敛为标准范式,云厂商很可能把这类参考架构做成客户锁定的入口。对自建集群的团队来说,通信库与编排层的选型,对 RL 训练实际效率的影响可能已不亚于加速器数量本身。