#DeepSeek

DeepSeek 联合北京大学发布了 DSpark 投机解码框架，可将大模型推理速度提升 60%至 85%且不损失输出质量。相关模型已在 Hugging Face 开源。 这种开放研究的方式与美国主要 AI 实验室的秘密实践形成对比，凸显了 DeepSeek 对透明度和创新的承诺。它能让广泛的应用获得更快、更便宜的 LLM 推理。 DSpark 引入了半自回归候选生成和置信度调度验证，动态优化投机长度和接受率。该框架已部署于 DeepSeek-V4-Flash 和 V4-Pro 预览版，完整 DeepSpec 代码库已在 GitHub 开源。

中国 AI 公司 DeepSeek 已开始自主研发专注于推理的 AI 芯片，旨在减少对英伟达和华为芯片的依赖。该项目启动约一年，目前仍处于早期阶段，DeepSeek 正在积极招募芯片设计工程师，并与代工厂和存储公司接洽。 此举可能重塑中国的 AI 硬件格局，并降低 DeepSeek 对美国出口管制的脆弱性——目前的管制限制了先进英伟达芯片的获取。如果成功，还可能加剧与华为昇腾系列及其他国产芯片制造商的竞争。 该芯片专门面向推理阶段（即训练好的模型生成回答的环节），而非训练。DeepSeek 此前依赖英伟达 H800 和华为昇腾芯片，创始人梁文锋在 2024 年一次罕见采访中承认，芯片管制是公司面临的挑战。

SGLang v0.5.14 增加了对多个新模型的支持，包括 GLM-5.2、LiquidAI LFM2.5 和 Kimi-K2.7-Code，在 NVIDIA GB300 上实现了 DeepSeek-V4 的 5 倍吞吐量提升，并新增了两种面向 DeepEP 的 MoE 负载均衡方法（Waterfill 和 LPLB）。 此版本显著提升了 DeepSeek-V4 等大型 MoE 模型的推理性能，使其在最新硬件上的生产部署更加实用。Waterfill 和 LPLB 负载均衡方法解决了专家并行中的一个关键瓶颈，有望降低延迟并提升众多新模型的吞吐量。 GB300 上 5 倍的吞吐量提升得益于优化内核、MoE 负载均衡和 NVFP4 量化的组合。Waterfill 方法动态地将共享专家的工作分配给负载较轻的 ranks，而 LPLB 使用线性规划在冗余的专家副本之间平衡 token。这些是可选功能（例如 --ep-dispatch-algorithm=lp）。