Ai2 重构 GPU 集群调度:用时间预算与层级公平分配替代优先级调度
摘要
Ai2 的 AI 基础设施团队把原有的优先级 GPU 调度器,替换为「GPU 时间预算 + 层级公平份额分配 + 时间切片契约」的组合机制,把「谁该拿多少算力」从逐案运维决策变成透明的行政预算流程。
核心要点
- Ai2 管理着数千张 NVIDIA H100、B200、B300,集群规模从 88 卡到 1024 卡不等,服务约 150 名内部研究员,覆盖 LLM/VLM 训练、机器人强化学习仿真与科学 agentic 后训练。
- 算力供需严重失衡:任一时点上,排队等待的工作负载所申请的 GPU 数量是实际可用量的 2-3 倍,即每一 GPU 小时都有 2-3 个研究任务在竞争。
- 团队用四层指标金字塔衡量调度:底座是 availability(硬件健康可用率),往上是 occupancy(可用时间被指派给具体负载的比例),再上是 impact(高价值负载被选中的频率),顶端是 utilization(负载生命周期内的 GPU 容量使用比例)。
- 旧优先级调度器产生两个典型病症:GPU「占坑」——用户停放空转负载以便随时连上;以及优先级通胀——最终 100% 被调度的负载都标记为 HIGH 优先级,低优先级任务被饿死。
- 旧机制还允许工作负载选择「不可被抢占」,各团队对不可抢占负载设有并发 GPU 上限,可抢占负载只能在空闲卡上超限,这加剧了资源分配的扭曲。
原文佐证
- We recently replaced a priority-based scheduler with a system including GPU time budgets, hierarchical fair-share allocation, and a time-slicing contract.
- Based on submitted workloads, at any moment in time we have outstanding requests for 2-3x more GPUs than are available.
- We also observed priority inflation, where eventually 100% of scheduled workloads used HIGH priority.
AI 洞察
这篇技术博客真正的看点不在调度算法,而在治理思路的转向:把稀缺算力当作可记账的财政资源来分配,用预算和公平份额取代「优先级+抢占」这类工程化的零和博弈。对任何内部算力平台而言,瓶颈往往不是调度器写得不够好,而是缺少一套让分配决策可解释、可辩论的制度设计。这种内部预算化机制很可能继续外溢——从机构内部走向跨机构的算力联盟、算力市场与按用量计费的资源交易体系。