华为开源了 OpenPangu-2.0-Flash，这是一个混合专家（MoE）大语言模型，总参数量 920 亿，激活参数量 60 亿，支持 51.2 万 token 的上下文长度。此次发布包含模型权重、推理代码和训练操作。 此次开源为社区提供了一个来自科技巨头的高性能、长上下文 MoE 模型，可能降低研究人员和开发者试验大规模 MoE 架构的门槛。这也标志着华为在开源 AI 生态系统中的参与度日益增加。 该模型采用 MoE 架构，每个 token 仅激活 920 亿参数中的 60 亿，从而实现高效推理。它支持 51.2 万 token 的上下文窗口，更大的 Pro 版本（总参数量 5050 亿，激活 180 亿）计划于 7 月发布。
背景
混合专家（MoE）是一种神经网络架构，将工作分配给称为专家的专用子网络，每个输入仅激活其中一部分以提高效率。更长的上下文长度（例如 51.2 万 token）允许模型一次性处理大型文档或对话，这对于长篇问答和代码分析等任务很有价值。