Meta 百万 GPU 集群曝光,冗余吃掉了 13%

美国时间 10 月 19 日,Meta 工程博客原文把 Prometheus 摊开讲了。这个位于俄亥俄州新奥尔巴尼的集群,一期已经建成并投入训练 Muse 系列模型,现有数十万块 GPU,满配约 100 万块,园区规模到千兆瓦级。

这类披露通常看一个数字就够了,但这次值得看的是另外两组:一组是中断次数,一组是机架里空着的那几张卡。规模决定上限,冗余决定能不能跑满,而后者的数字在行业里通常不公开。

一期已建成,满配指向一百万块

已经建成的部分已经在干活。Meta 说一期用于训练 Muse 系列模型,训练 Muse Wonder 时预训练阶段的有效算力(goodput)超过 85%,强化学习阶段超过 90%。这个指标衡量的是买来的算力里有多少真的参与了有效计算,不是纸面峰值。

剩下的容量还在规划里。满配约 100 万块 GPU,园区功耗到千兆瓦级。此前 Meta 发布 Muse Spark 时,外界看到的只是模型侧的动作,这一篇补上的是模型背后的机器。

三代平台在同一个月里并行

Prometheus 里同时在跑三代 NVL72 平台,这是这次披露里信息量最大的技术细节:

  1. Catalina:用 GB200,双机架 36 加 36 拼成 72 卡域,每卡 800G 对外带宽
  2. Clemente:用 GB300,单卡 288GB,单机架 72 卡
  3. San Miguel:第三代,将上 Vera Rubin

三代平台同时在跑,采购节奏是跟着芯片代际走的,而不是等一代成熟再换。这种并行对运维的压力直接体现在网络设计上:单栋楼最多连 20,736 块 GPU,跨楼汇聚网最远超过 100 公里。

Meta 百万 GPU 集群的通信网络分析

图 1:单栋楼网络最多连 20,736 块 GPU,跨楼汇聚最远超 100 公里

中断峰值一年降了九成九

一期最初的中断峰值大约是每天 1000 次,口径按 8000 块卡的规模计。一年的工程优化之后,降幅是 99%——从四位数掉到两位数,量级变了。

更能说明问题的是间隔指标。中断间隔(MTBI)约 4.7 万 GPU 小时,固件修复后超过 5.4 万,目标是 10 万。集群规模与故障数据解读把这三档数字放在一起做了对比。中断次数比算力数字更能说明集群成熟度,因为它反映的是软件、固件、调度的综合水平,而不是采购了多少卡。

Meta 普罗米修斯超算集群的报道页面

图 2:中断峰值从每天约 1000 次降到 11 次左右

冗余不是浪费,是买保险

这份冗余账 Meta 写得很直白,分两层:

  1. 机架层:每 72 卡机架只跑 64 卡,留 8 卡当备件
  2. 机架冗余:在此之外再留约 2% 的机架

两层叠起来的结果是,一个标称 32,768 卡的训练任务,实际要占用 37,656 卡。多出来的 4,888 卡不参与计算,只负责在坏卡出现时立刻顶上去。多出的 4,888 张卡全是保险成本,约占实际占用的 13%。

这笔钱花得值不值,取决于中断的代价。在前一个数字里,优化前的中断峰值是每天 1000 次量级;在这种频率下,没有备件池的训练任务基本跑不完一个完整周期。

功耗波动三成的解法

功耗波动比平均功耗更难处理。Prometheus 的集群功耗波动达到 30% 到 40%,这是训练任务在不同阶段切换负载形态造成的——预训练、微调、强化学习三种活对电力的需求曲线并不一样。

Meta 的解法是软件加硬件两层:用 Dynamo Dimmer 动态调节,再配电池削峰,把波动挡在电网之前。下个集群 Hyperion 落地路易斯安那,这套做法大概率会跟着复制。

放到产业视角看,这类工程能力正在变成算力成本的一部分。本土大模型与芯片产能讨论的是供给端能出多少机器,中兴 AI 一体机与算力营收讨论的是交付形态怎么变,而 Prometheus 这篇给出的第三个变量是:同样一批卡,运维水平不同,实际能拿来训练的算力会差出一截。

个人观点

这篇披露里最反常识的地方是,最贵的不是 GPU。

  1. 规模:满配 100 万块、千兆瓦级,这是入场门槛,钱能解决
  2. 可靠性:从每天 1000 次降到两位数,降幅 99%,这是工程能力,钱解决不了
  3. 冗余:13% 的算力在做备份,这是主动选择的成本,不是浪费

如果只记一个数字,记 13%。它说明一件很朴素的事:超大规模集群的有效算力,永远小于采购清单上的算力总和。评估一个集群时把冗余扣掉再比较,得到的结论会和看宣传数字完全不一样。

更新时间:2026-10-21