#SGLang

SGLang v0.5.15 引入了具有零开销调度的推测解码 V2，实现了端到端每秒 token 数量增加 11%，以及 IndexShare 多 token 预测（MTP），在长上下文场景下将草稿步骤成本降低高达 1.9 倍。此外，在 Blackwell GPU 上使用 NVFP4 量化后的 GLM-5.2 模型，在 8 卡 B300 上每用户每秒 token 数超过 500。 这些优化显著降低了生产环境中 LLM 服务的推理延迟和成本，尤其是在 NVIDIA 最新的 Blackwell 架构上。推测解码和量化方面的性能提升使得像 GLM-5.2、DeepSeek-V4 等大型模型的高吞吐、低延迟服务更加可行。 主要改进包括 Spec V2 的 CUDA 可图化草稿扩展与融合元数据操作、IndexShare MTP 跨步骤复用索引器 top-k、TopK V2 融合 top-k 与页表变换，以及针对 Blackwell 的 GEMM 形状专用 JIT 路由器。该版本还默认启用了可中断 CUDA Graph，并新增了线性注意力内核（KDA/GDN）以支持替代注意力机制。

SGLang v0.5.14 增加了对多个新模型的支持，包括 GLM-5.2、LiquidAI LFM2.5 和 Kimi-K2.7-Code，在 NVIDIA GB300 上实现了 DeepSeek-V4 的 5 倍吞吐量提升，并新增了两种面向 DeepEP 的 MoE 负载均衡方法（Waterfill 和 LPLB）。 此版本显著提升了 DeepSeek-V4 等大型 MoE 模型的推理性能，使其在最新硬件上的生产部署更加实用。Waterfill 和 LPLB 负载均衡方法解决了专家并行中的一个关键瓶颈，有望降低延迟并提升众多新模型的吞吐量。 GB300 上 5 倍的吞吐量提升得益于优化内核、MoE 负载均衡和 NVFP4 量化的组合。Waterfill 方法动态地将共享专家的工作分配给负载较轻的 ranks，而 LPLB 使用线性规划在冗余的专家副本之间平衡 token。这些是可选功能（例如 --ep-dispatch-algorithm=lp）。