#LLM inference

DeepSeek 联合北京大学发布了 DSpark 投机解码框架，可将大模型推理速度提升 60%至 85%且不损失输出质量。相关模型已在 Hugging Face 开源。 这种开放研究的方式与美国主要 AI 实验室的秘密实践形成对比，凸显了 DeepSeek 对透明度和创新的承诺。它能让广泛的应用获得更快、更便宜的 LLM 推理。 DSpark 引入了半自回归候选生成和置信度调度验证，动态优化投机长度和接受率。该框架已部署于 DeepSeek-V4-Flash 和 V4-Pro 预览版，完整 DeepSpec 代码库已在 GitHub 开源。