vLLM v0.24.0 版本发布，共有 571 次提交和 256 位贡献者，新增了对 MiniMax-M3 模型的支持，并对 DeepSeek-V4 进行了深度性能优化，包括 FlashInfer 稀疏索引缓存和集群协作 topK 内核。 该版本显著扩展了 vLLM 支持的模型范围，并展示了其作为高性能推理引擎在前沿大语言模型中的日益重要作用。针对 DeepSeek-V4 的优化提升了吞吐量和延迟，有益于大规模部署。 此版本引入了默认支持量化模型的 Model Runner V2 (MRv2)、新的流式解析引擎用于工具调用解析，以及用于专家并行性的 DeepEP v2 集成。此外，vLLM 不再内部设置 CUDA_VISIBLE_DEVICES，而是改用 device_ids 参数。
背景
vLLM 是一个开源的大语言模型推理引擎，专为高吞吐量和低延迟设计。它采用 PagedAttention 高效管理内存，并支持多种模型。此版本的优化利用了 FlashInfer 进行稀疏注意力、MXFP4 进行低精度计算等技术，对于处理 DeepSeek-V4 和 MiniMax-M3 等大型模型至关重要。