#MoE

蚂蚁集团开源了 LingBot-Video，这是全球首个基于混合专家（MoE）架构的具身智能视频生成基础模型，在 RBench 评测基准上取得 0.620 的 SOTA 分数，并在 GitHub 以 Apache 2.0 许可证发布。 该开源发布显著降低了具身 AI 研究门槛，其高效的 MoE 架构仅激活 30B 总参数中的 3B，推理效率是同等规模密集模型的 3 倍，可加速机器人动作预测、仿真数据生成和世界模型开发等方向。 LingBot-Video 在架构（DiT+MoE 平衡容量与成本）、数据（7 万小时具身数据，覆盖灵巧操作、机器人移动和第一视角交互）和训练（多维强化学习奖励，关注物理合理性和任务完成度）三方面创新，采用扩散变换器（DiT）骨干网络。

腾讯发布并开源了混元 Hy3 预览版，这是一个混合专家（MoE）语言模型，总参数量 2950 亿，激活参数量 210 亿，支持 256K 令牌上下文长度。 此次发布通过一个面向复杂推理和智能体任务的大规模 MoE 模型，极大地丰富了开源 LLM 生态系统，有望加速人工智能驱动的编程和科学应用的发展。 得益于模型架构与推理框架的深度协同优化，该模型在 CodeBuddy 等产品中实现了首令牌延迟降低 54%。其目标是在数学、科学和代码生成任务中提供增强的性能。

华为开源了 OpenPangu-2.0-Flash，这是一个混合专家（MoE）大语言模型，总参数量 920 亿，激活参数量 60 亿，支持 51.2 万 token 的上下文长度。此次发布包含模型权重、推理代码和训练操作。 此次开源为社区提供了一个来自科技巨头的高性能、长上下文 MoE 模型，可能降低研究人员和开发者试验大规模 MoE 架构的门槛。这也标志着华为在开源 AI 生态系统中的参与度日益增加。 该模型采用 MoE 架构，每个 token 仅激活 920 亿参数中的 60 亿，从而实现高效推理。它支持 51.2 万 token 的上下文窗口，更大的 Pro 版本（总参数量 5050 亿，激活 180 亿）计划于 7 月发布。

SGLang v0.5.14 增加了对多个新模型的支持，包括 GLM-5.2、LiquidAI LFM2.5 和 Kimi-K2.7-Code，在 NVIDIA GB300 上实现了 DeepSeek-V4 的 5 倍吞吐量提升，并新增了两种面向 DeepEP 的 MoE 负载均衡方法（Waterfill 和 LPLB）。 此版本显著提升了 DeepSeek-V4 等大型 MoE 模型的推理性能，使其在最新硬件上的生产部署更加实用。Waterfill 和 LPLB 负载均衡方法解决了专家并行中的一个关键瓶颈，有望降低延迟并提升众多新模型的吞吐量。 GB300 上 5 倍的吞吐量提升得益于优化内核、MoE 负载均衡和 NVFP4 量化的组合。Waterfill 方法动态地将共享专家的工作分配给负载较轻的 ranks，而 LPLB 使用线性规划在冗余的专家副本之间平衡 token。这些是可选功能（例如 --ep-dispatch-algorithm=lp）。