用 Amazon SageMaker HyperPod 在团队之间隔离且公平地共享 GPU 集群
摘要
AWS 发布一套基于 Amazon SageMaker HyperPod 与 Amazon EKS 的多租户参考架构,让同一公司内的多个团队在保持工作负载隔离、资源分配公平与成本可归属的前提下共享同一批昂贵 GPU 集群。
核心要点
- 典型场景是同一公司内三类团队争用同一集群:训练大语言模型的数据科学团队、跑推理负载的计算机视觉团队、试验新模型架构的研究团队。
- 文章明确列出缺少多租户架构的四类后果:资源消耗失控、团队间隔离薄弱、共享 GPU 成本无法归因到实际使用团队、行政开销拖慢创新。
- HyperPod 定位为专为生成式 AI 打造的 AI 服务,集群由 Amazon EKS 或 Slurm 编排,并自动承担节点健康监控、故障恢复与集群生命周期管理。
- 参考架构的五个关键组件是:AWS IAM Identity Center 集中认证、每团队独立 SageMaker AI domain、Kubernetes namespace 做工作负载隔离、HyperPod Task Governance 做公平分配、命名空间级成本分摊做花费可见性与计费回退。
- 认证流程为:用户执行 aws sso login 跳转到 Identity Center 门户,再以本团队权限集获取临时凭证,通过 kubectl 直接向 EKS 集群提交任务;Identity Center 可与外部身份提供商(如 Microsoft Entra ID)联邦。
原文佐证
- In this post, we present a reference architecture for building a multi-tenant environment on Amazon SageMaker HyperPod with EKS.
- This architecture uses AWS IAM Identity Center for centralized authentication, per-team SageMaker AI domains for a tailored user experience, Kubernetes namespaces for workload isolation, HyperPod Task Governance for fair resource allocation, and namespace-level cost allocation for per-team spend visibility and chargeback.
- By the end of this post, you will have a clear blueprint for multiple teams to efficiently share a single HyperPod EKS cluster.
AI 洞察
这说明 GPU 稀缺与成本高企之下,多租户治理(隔离、公平调度、成本归属)正从可选项变成企业采购 AI 算力的硬性门槛——单卡性能不再是唯一卖点,调度与治理层的软件能力才是云厂商新的差异化战场。把配额与计费粒度下沉到命名空间/团队级,本质上是让 GPU 预算可问责,这会直接改变企业内部 AI 团队的组织与考核方式。对第三方 GPU 调度与管理平台而言,云厂商把这类能力以参考架构形式免费输出,正在压缩其独立生存空间。