#512K-context

华为开源了 OpenPangu-2.0-Flash，这是一个混合专家（MoE）大语言模型，总参数量 920 亿，激活参数量 60 亿，支持 51.2 万 token 的上下文长度。此次发布包含模型权重、推理代码和训练操作。 此次开源为社区提供了一个来自科技巨头的高性能、长上下文 MoE 模型，可能降低研究人员和开发者试验大规模 MoE 架构的门槛。这也标志着华为在开源 AI 生态系统中的参与度日益增加。 该模型采用 MoE 架构，每个 token 仅激活 920 亿参数中的 60 亿，从而实现高效推理。它支持 51.2 万 token 的上下文窗口，更大的 Pro 版本（总参数量 5050 亿，激活 180 亿）计划于 7 月发布。