AWS Batch 推出配额管理:SageMaker 训练任务可在团队间借还 GPU 算力
摘要
AWS 为 SageMaker 训练任务的 AWS Batch 队列新增 quota management 能力,管理员可按团队或项目划分算力配额并设定借出/借入策略,让闲置 GPU 在团队间自动流转、高优任务可抢占回收。
核心要点
- AWS Batch 已支持 Amazon SageMaker Training 任务,提供托管的排队、调度与重试,用户无需自建调度基础设施。
- 新增的 quota management 允许管理员把受限的 GPU 算力切分为多个 quota share,按团队、项目或工作负载组织,每个 share 含算力上限与空闲资源共享策略。
- 共享策略有三种:RESERVE(空闲算力保留至本 share 任务到达)、LEND(空闲时借给其他有任务的 share)、LEND_AND_BORROW(既借出也在需要时借入)。
- quota share 作为虚拟队列层级化嵌套在 job queue 之下;调度时 AWS Batch 依次遍历各 share,优先处理尚未触及上限的 share。
- 跨 share 抢占:借出算力的 share 一旦有新任务到达,AWS Batch 自动回收资源,管理员无需手动定位并终止借用方的任务;另支持 share 内的优先级抢占。
原文佐证
- Administrators can use it to divide compute capacity into quota shares, organized by team, project, or workload.
- These strategies determine whether idle compute is reserved until jobs arrive ( RESERVE ), lent to other quota shares that have work available ( LEND ), or both lent when idle and borrowed when the share has work that might benefit ( LEND_AND_BORROW ).
- If jobs arrive in a quota share that has lent out its capacity, AWS Batch performs cross-share preemption.
AI 洞察
云厂商正把 GPU 治理从静态配额审批变成团队间的“内部借还市场”,调度策略本身开始成为云平台的差异化卖点。对平台团队而言,共享 GPU 池的治理成本下降,可能推动企业从各团队自建小集群转向更大规模的集中采购。这也侧面说明,在 GPU 依然稀缺的前提下,提高利用率已被云厂商当作核心 KPI 与叙事主线。