#load balancing

SGLang v0.5.14 增加了对多个新模型的支持，包括 GLM-5.2、LiquidAI LFM2.5 和 Kimi-K2.7-Code，在 NVIDIA GB300 上实现了 DeepSeek-V4 的 5 倍吞吐量提升，并新增了两种面向 DeepEP 的 MoE 负载均衡方法（Waterfill 和 LPLB）。 此版本显著提升了 DeepSeek-V4 等大型 MoE 模型的推理性能，使其在最新硬件上的生产部署更加实用。Waterfill 和 LPLB 负载均衡方法解决了专家并行中的一个关键瓶颈，有望降低延迟并提升众多新模型的吞吐量。 GB300 上 5 倍的吞吐量提升得益于优化内核、MoE 负载均衡和 NVFP4 量化的组合。Waterfill 方法动态地将共享专家的工作分配给负载较轻的 ranks，而 LPLB 使用线性规划在冗余的专家副本之间平衡 token。这些是可选功能（例如 --ep-dispatch-algorithm=lp）。