#inference

vLLM v0.24.0 版本发布，共有 571 次提交和 256 位贡献者，新增了对 MiniMax-M3 模型的支持，并对 DeepSeek-V4 进行了深度性能优化，包括 FlashInfer 稀疏索引缓存和集群协作 topK 内核。 该版本显著扩展了 vLLM 支持的模型范围，并展示了其作为高性能推理引擎在前沿大语言模型中的日益重要作用。针对 DeepSeek-V4 的优化提升了吞吐量和延迟，有益于大规模部署。 此版本引入了默认支持量化模型的 Model Runner V2 (MRv2)、新的流式解析引擎用于工具调用解析，以及用于专家并行性的 DeepEP v2 集成。此外，vLLM 不再内部设置 CUDAVISIBLEDEVICES，而是改用 deviceids 参数。

vLLM v0.25.0 将 Model Runner V2 设为所有稠密模型的默认运行路径，移除了旧版 PagedAttention 实现，并使 Transformers 建模后端的性能与原生 vLLM 持平。 此次发布是一次重大的架构改革，简化了代码库，消除了技术债务，并扩展了模型支持，以更高的性能和兼容性惠及 LLM 推理社区。 该版本包含来自 232 位贡献者的 558 次提交，新增了 LLaVA-OneVision-2 和 GLM-5 等模型，并引入了用于工具调用/推理解析的全新流式解析引擎。

SGLang v0.5.14 增加了对多个新模型的支持，包括 GLM-5.2、LiquidAI LFM2.5 和 Kimi-K2.7-Code，在 NVIDIA GB300 上实现了 DeepSeek-V4 的 5 倍吞吐量提升，并新增了两种面向 DeepEP 的 MoE 负载均衡方法（Waterfill 和 LPLB）。 此版本显著提升了 DeepSeek-V4 等大型 MoE 模型的推理性能，使其在最新硬件上的生产部署更加实用。Waterfill 和 LPLB 负载均衡方法解决了专家并行中的一个关键瓶颈，有望降低延迟并提升众多新模型的吞吐量。 GB300 上 5 倍的吞吐量提升得益于优化内核、MoE 负载均衡和 NVFP4 量化的组合。Waterfill 方法动态地将共享专家的工作分配给负载较轻的 ranks，而 LPLB 使用线性规划在冗余的专家副本之间平衡 token。这些是可选功能（例如 --ep-dispatch-algorithm=lp）。