走进 Prometheus:Meta 迈向吉瓦级超级集群之路
摘要
Meta 首次系统性披露其吉瓦级超级集群 Prometheus:一期已在俄亥俄州 New Albany 建成,并已用于训练 Muse 系列基础模型,目前正朝约 100 万块 GPU 的规模扩展。
核心要点
- 一期工程已完成,所用站点两年前还是承载网页流量的常规数据中心,经硬件、网络与楼宇设计改造转为前沿模型训练基地。
- 训练 Muse Wonder 时,预训练运行的 goodput 超过 85%,强化学习(RL)运行的 goodput 超过 90%。
- 训练期间整体挂钟中断间隔(MTBI)约为 4.7 万 GPU 小时;此后通过全机队固件修复将其提升到 5.4 万 GPU 小时以上。
- 当前集群由分布在不同互联楼宇中的数十万块 GPU 组成,靠数英里光纤连成“单机”,使更大模型与更长上下文窗口成为可能。
- 现役两代英伟达 GPU 平台,采用 NVL72 机架架构(每机架 72 块 GPU),第三代基于英伟达 Vera Rubin NVL72 的平台即将部署。
原文佐证
- The first phase of Prometheus, our gigawatt-scale supercluster, is already complete and we're working toward scaling it to comprise ~1 million GPUs.
- By focusing on improving our systems' stability and reliability we were able to achieve more than 85% goodput for pre-training runs and more than 90% goodput for reinforcement learning (RL) runs of Muse Wonder.
- During these training runs, we were able to achieve an overall wall-clock mean time between interruptions (MTBI) of ~47k GPU hours.
AI 洞察
当单集群规模从“万卡”迈向“百万卡”,竞争焦点正从单纯堆算力转向可靠性工程——goodput 与 MTBI 这类指标开始与 FLOPS 同等重要,因为一个节点的故障就能拖垮整个训练任务。吉瓦级集群也把电力供给、液冷与网络布线变成硬约束,前沿模型的入场券正被抬升到超大规模自建基础设施的门槛之上。若百万 GPU 目标达成,模型规模与长上下文能力的探索空间会被重新定义,而缺乏自建集群能力的玩家将更依赖外部算力租赁与更小的模型路线。