在 EKS 上用 Ray Train DLC 与 EFA 做分布式训练
摘要
AWS 介绍如何直接使用官方预构建的 Ray Train 深度学习容器(DLC),在 EKS 上借助 KubeRay 和 EFA 网络完成多节点 PyTorch FSDP 训练,从而跳过自建训练镜像的工程负担。
核心要点
- 自建训练镜像需要对齐一整套组件:CUDA runtime、针对该 runtime 编译的 PyTorch、NCCL、EFA 用户态库、连接 NCCL 与 EFA 的 AWS OFI NCCL 插件,以及集群侧认可的 Ray 版本,其中任一组件升级都意味着重建镜像
- Ray Train DLC 由 AWS 构建并作为一个整体测试,发布在 Amazon ECR Public 且持续打补丁;同一个带标签镜像既可作为 Ray head,也可作为 Ray worker,在 EKS 或自管 EC2 上都一样
- 示例拓扑为一个 EKS 集群、一个运行 KubeRay operator 与 Ray head 的 m7i.xlarge CPU 系统节点,以及同一可用区内两台启用 EFA 的 g6.12xlarge 节点
- Ray Train 在每个集群中放置 8 个 worker(每张 GPU 一个),跨节点的集合通信直接走 EFA,因为 DLC 已内置 EFA 软件栈,pod 申请后即可生效
- 所有可变项都从镜像外部注入配置:实例类型、每个 pod 的 GPU 数量、NCCL 使用的网络传输方式,以及作业需要的额外 Python 包
原文佐证
- What usually stops PyTorch training from scaling out to a cluster is the container, not the model code.
- The Ray Train Deep Learning Container (DLC) is that image, built by AWS.
- This post walks through a sample that uses the DLC exactly as published to fine-tune Qwen2.5-1.5B with PyTorch Fully Sharded Data Parallel (FSDP) across eight NVIDIA L4 GPUs on two g6.12xlarge instances.
AI 洞察
云厂商把“依赖对齐”这件苦活收编为托管的容器产物,实际是把 GPU 集群的竞争从单纯的算力供给,转向“开箱即用、整栈受测”的体验竞争。容器正在成为分布式训练真正的抽象边界:模型代码与集群装配彻底解耦,团队能把工程精力前移到数据与算法。代价是训练可移植性下降,团队对特定云厂商的镜像更新节奏与专有网络(如 EFA)形成路径依赖,跨云迁移的隐性成本随之上升。