#Megatron-LM

Hugging Face 的 Nouamane（曾参与 Ultra-Scale 与 Smol Training Playbooks）发布了《The Ultimate MoE Training Handbook》，在 Hugging Face Spaces 上免费阅读，面向已经训练过稠密模型、下一步想训练 Mixture-of-Experts 的工程师。手册第 2 章是可执行的 Megatron-LM 流程：测试硬件、构建镜像、训练稠密基线，再在单节点上训练第一个 MoE 并与该基线对比；第 3 章拆解 MoE 层（路由器、路由、负载均衡、专家、block 布局、训练与系统），每部分都给出 Megatron-LM 代码、需要观察的地方、作者建议以及前沿 MoE 模型的选择；第 4 章延伸到推理服务与强化学习，第 3、4 章无需 GPU 即可阅读。作者称经验来自 CSCS 的 Alps 集群上约 80 万 GH200 GPU 小时的 MoE 训练，并同时放出 55 张图的图库、脚本 gist，以及把全部推荐 flag 汇总进一个 Megatron-LM 配置块。这是作者自行发布的教程，并非新模型或性能突破：关于前沿模型的论断标注了论文、配置或代码出处，作者自跑结果与玩具模拟均单独标注。