#mixture-of-experts

Hugging Face 的 Nouamane（曾参与 Ultra-Scale 与 Smol Training Playbooks）发布了《The Ultimate MoE Training Handbook》，在 Hugging Face Spaces 上免费阅读，面向已经训练过稠密模型、下一步想训练 Mixture-of-Experts 的工程师。手册第 2 章是可执行的 Megatron-LM 流程：测试硬件、构建镜像、训练稠密基线，再在单节点上训练第一个 MoE 并与该基线对比；第 3 章拆解 MoE 层（路由器、路由、负载均衡、专家、block 布局、训练与系统），每部分都给出 Megatron-LM 代码、需要观察的地方、作者建议以及前沿 MoE 模型的选择；第 4 章延伸到推理服务与强化学习，第 3、4 章无需 GPU 即可阅读。作者称经验来自 CSCS 的 Alps 集群上约 80 万 GH200 GPU 小时的 MoE 训练，并同时放出 55 张图的图库、脚本 gist，以及把全部推荐 flag 汇总进一个 Megatron-LM 配置块。这是作者自行发布的教程，并非新模型或性能突破：关于前沿模型的论断标注了论文、配置或代码出处，作者自跑结果与玩具模拟均单独标注。

Boson AI 发布了 Higgs Realtime Duplex：一个 45B 混合专家（MoE）全双工多模态模型，可同时处理音频、视频和文本流，并在说话的同时于同一条流中执行思考、工具调用和任务委派。所有输入被切成 160 毫秒的块——音频输入每块 1 个 token（约 6.25 token/s），音频输出每块 2 个 token（12.5 token/s），每 6 块送入一帧约 12 token 的摄像头画面；静音同样以块表示，模型据此决定何时接话、打断或保持安静。模型从文本预训练 LLM 出发，在约 2T token 的文本、音频和视频上继续预训练，再以多教师 on-policy 蒸馏把经 RL 训练的专家合并为单一学生模型；声音和形象在部署时用一段参考音频和一张图片零样本设定，无需微调。目前权重不开放，Duplex API 需排队申请（上一代回合制 Higgs Realtime 已可用），且公布的基准为厂商自测：Big Bench Audio 为 98.9，高于其对比的 TML Interaction Small 96.5 与 OpenAI 97，但 Full-Duplex-Bench v1.5 为 75.5，落后 TML 的 77.8，OpenAI 在七项基准中的五项领先。