Meta 前两天写了篇博客，讲俄亥俄那个 Prometheus 集群（第一期几十万张 GPU ）是怎么跑稳的，数字挺直白，搬过来聊聊。 起点有多糟 2025 年年中， 每 8000 张卡，每天将近 1000 次中断事件 。训练任务一断就要从检查点重来，卡越多越频繁。 做了什么 英伟达派工程师驻场，和 Meta 一起： 调 HBM 的固件 定期做内存巡检，提前把有问题的条子挑出来 改进 LPDDR 的纠错 根据信号预测哪些器件快要坏，坏之前先换 一年下来，训练中断减少了 99%。预训练的 goodput 超过 85%，也就是 100 个小时里大约 85 个小时在干正经活。 备用卡是写进设计里的 项目 数字 每个 NVL72 机柜 72 张卡只用 64 张，8 张备用 一个 3.3 万卡的训练任务 实际配约 3.8 万张 多出来的比例 约 13% 也就是说，大厂默认就是「一定会坏」，直接多买一成多的卡当冗余。 几点感受 我们是做服务器和 GPU 维...