腾讯发布并开源了混元 Hy3 预览版，这是一个混合专家（MoE）语言模型，总参数量 2950 亿，激活参数量 210 亿，支持 256K 令牌上下文长度。 此次发布通过一个面向复杂推理和智能体任务的大规模 MoE 模型，极大地丰富了开源 LLM 生态系统，有望加速人工智能驱动的编程和科学应用的发展。 得益于模型架构与推理框架的深度协同优化，该模型在 CodeBuddy 等产品中实现了首令牌延迟降低 54%。其目标是在数学、科学和代码生成任务中提供增强的性能。
背景
混合专家（MoE）是一种架构，它使用多个专门的子网络（专家）和一个路由器，每个令牌只激活一部分参数，从而以较低的计算成本实现大模型容量。首令牌延迟是模型开始生成第一个输出令牌所需的时间，对实时交互应用至关重要。腾讯的混元 Hy3 利用这些技术来平衡规模与效率。