Amazon SageMaker HyperPod 联合 Qumulo 实现跨区域模型训练
摘要
AWS 与 Qumulo 联合提出一套方案,让 SageMaker HyperPod 训练集群直接读取存放在另一个 AWS 区域(或本地)的数据集而不必复制数据或修改代码,并用跨区实测证明其吞吐可与数据和算力同区的集群持平。
核心要点
- 跨区域读取实测延迟约 60 ms,spoke 集群位于 us-west-2、数据位于 us-east-2,仍达到与同区集群一致的 115–117 samples/sec 吞吐
- CNQ 的云原生架构使其性能可独立于数据存储规模扩展,实测实现 99% GPU 利用率、p5.48xlarge 网络打满,数据操作延迟低于 3 ms
- 吞吐在最初 100–150 个 batch 内收敛,这段一次性预热在大规模训练中可忽略:1 万 batch 以上占比不足 1%,10 万 batch 以上不足 0.1%
- 预热阶段 GPU 利用率为 80–90%,收敛后稳定在 98–100%
- 架构上各 HyperPod 集群通过 NFS 挂载本地 CNQ 实例,由 Qumulo Cloud Data Fabric 跨区域拉取 hub 集群数据,无需任何数据编排
原文佐证
- After a short warmup, the spoke cluster matched the hub’s performance.
- This results in full 99 percent GPU utilization and p5.48xlarge network saturation with sub-3 ms data operations.
- Throughput converges within the first 100–150 batches, and that one-time warmup is negligible at scale: under 1 percent of wall-clock time at 10,000+ batches, and under 0.1 percent at over 100,000.
AI 洞察
这条消息的真正含义不是“又一个存储集成”,而是把“数据必须在算力旁边”这一长期约束松开了——GPU 容量最紧张的区域不再受限于数据所在地,团队可以纯粹按算力供给和电价来选址。对云厂商而言,这意味着跨区域数据引力(data gravity)作为客户锁定手段正在减弱,存储层与计算层的解耦会成为多云与跨区训练架构的默认假设。不过该数据来自 AWS 自身博客的单次验证,且 60 ms 延迟属于同国跨区场景,跨大洲、高并发 checkpoint 写入等更严峻条件下的表现仍待第三方验证。