Meta揭开百万GPU集群内幕：上万块GPU长年闲置，只为接住下一次故障

Meta本周披露，在其位于俄亥俄州新奥尔巴尼的Prometheus超级集群里，超过11%的GPU要么已经坏掉，要么处于空闲状态，随时准备在下一块GPU掉线时顶上。这批庞大的冗余GPU，只是这家超大规模云厂商为了让AI训练不中断所采取的若干措施之一。

Prometheus是Meta迄今为止规模最大的算力部署之一。它由英伟达的Grace Blackwell以及（即将上线的）Vera Rubin机架系统提供动力，Meta表示该集群最终将扩展到1吉瓦容量，覆盖约100万块加速器。

但任何做过大规模计算集群的人都知道，无论用于大模型训练还是传统HPC负载，芯片越多，麻烦越多。在一个8卡节点里，GPU出故障的概率相对很低；而在一个10万卡集群里，故障就不可避免。Meta在建的规模比这还要大10倍，并且需要跨多个数据中心做分布式训练。让整个系统跑得足够久、撑到下一个检查点，成了一个巨大的难题。

在本周发布的一篇博客中，Meta难得地展示了它在避免故障拖垮Muse Spark或最新发布的Muse Wonder等模型训练方面所做的工作。

空闲的GPU是连续性的代价

Meta表示，当它在新奥尔巴尼启动Prometheus部署第一阶段时，每8000块GPU每天大约会发生1000次中断。中断并不意味着GPU坏了，它只表示某个东西崩溃、失败或超时，迫使训练任务停下来，回滚到上一个已知正常的检查点。

Meta称，一年之后，它已把中断次数削减了99%，降到每8000块GPU每天约11次。

做法之一是让Prometheus的一部分GPU常驻备用。该集群目前由GB200和GB300系统混合构成，每个NVLink域包含72块GPU，但任一时刻只有64块真正在用，另外8块本质上是热备。

Meta这么做，是因为单块GPU故障就会拖垮整个机架、打断训练。现在某块GPU出故障时，可以由一块热备顶上去。这虽然节省了时间——Meta不必把整个机架从集群里摘除，也不用等人换掉故障部件才能重新开始训练——但GPU故障仍然会造成中断，只是中断时间短一些。

并行容错

为进一步缓解影响，Meta利用了这样一个事实：大规模训练任务通常采用数据并行，也就是集群中驻留着模型的多个副本。

Meta解释说，当故障可以被隔离到某个数据并行模型副本时，它们允许单个故障副本下线，让集群其余部分重算这一步并继续有效训练，从而降低硬件故障的影响。受损的那一份切片会在可用的备用主机上重启并重新同步，把一个可能导致整个系统停机的故障，转化为总体吞吐量上一次短暂而轻微的下降。

换句话说，只有当故障超出数据并行域的范围时，Meta的训练才会被打断。为此，公司实施了一套完整的检查点方案，可以把它想成自动保存或者版本历史。这样一来，即使真的出了问题，Meta也不必从头再来。

Meta写道，其分布式检查点架构会异步地把模型状态——包括梯度和优化器数据——保存到多层存储中。

NVLink的成长烦恼

Meta称，最困难的挑战之一，是让用于连接72块GPU的NVLink网络表现得像一块巨大的加速器。早期的H100和H200系统每个NVLink域只有8块GPU，链路短得多，数量也少得多。而到了英伟达Blackwell这一代，这项能力扩展了九倍。

Meta写道，在超过60万条NVLink连接的情况下，哪怕是轻微的信号劣化，都会触发频繁的NVLink恢复周期。

为克服这个问题，Meta必须部署持续遥测系统，并在系统投产前进行L11诊断烧机测试，以隔离出弱链路。电力是另一个挑战。为一次训练任务把数万块GPU的功耗推上去再降下来，会引入被称为瞬态的巨幅功耗尖峰，可能压垮供电设备。

向百万GPU迈进

据Meta介绍，通过聚焦集群的稳定性与可靠性，其最新模型Muse Wonder在预训练上实现了超过85%的goodput（有效吞吐率），在强化学习上超过90%。

公司的野心不止于此。在朝100万块GPU迈进的过程中，Meta希望把中断率降到每8000块GPU每天仅2次，约合每10万个GPU小时才发生一次中断的平均间隔。