#vLLM
github.com · ⭐️ 9/10 · 2026-06-30
vLLM v0.24.0 版本发布，共有 571 次提交和 256 位贡献者，新增了对 MiniMax-M3 模型的支持，并对 DeepSeek-V4 进行了深度性能优化，包括 FlashInfer 稀疏索引缓存和集群协作 topK 内核。 该版本显著扩展了 vLLM 支持的模型范围，并展示了其作为高性能推理引擎在前沿大语言模型中的日益重要作用。针对 DeepSeek-V4 的优化提升了吞吐量和延迟，有益于大规模部署。 此版本引入了默认支持量化模型的 Model Runner V2 (MRv2)、新的流式解析引擎用于工具调用解析，以及用于专家并行性的 DeepEP v2 集成。此外，vLLM 不再内部设置 CUDAVISIBLEDEVICES，而是改用 deviceids 参数。
github.com · ⭐️ 8/10 · 2026-07-11
vLLM v0.25.0 将 Model Runner V2 设为所有稠密模型的默认运行路径，移除了旧版 PagedAttention 实现，并使 Transformers 建模后端的性能与原生 vLLM 持平。 此次发布是一次重大的架构改革，简化了代码库，消除了技术债务，并扩展了模型支持，以更高的性能和兼容性惠及 LLM 推理社区。 该版本包含来自 232 位贡献者的 558 次提交，新增了 LLaVA-OneVision-2 和 GLM-5 等模型，并引入了用于工具调用/推理解析的全新流式解析引擎。
reddit.com · ⭐️ 8/10 · 2026-06-28
一项在单个 NVIDIA L4 GPU 上通过 vLLM 服务 Gemma 2 9B 的 FP8 量化基准测试显示，对于长上下文提示，FP8 使首次令牌时间（TTFT）增加高达 58%，而中等长度生成的端到端延迟则有所降低。 这项分析揭示了 FP8 量化在消费级硬件上的隐藏预填充开销，帮助工程师在部署自托管 LLM 时在延迟、质量和显存之间做出明智权衡。 未量化模型在复杂长上下文提示下的 TTFT 为 866.93 毫秒，而 FP8 飙升至 1372.12 毫秒；然而，对于中等长度序列，FP8 将平均客户端总时间从 12.29 秒降至 11.53 秒，并释放了显存以支持更大的批次大小。