#NVFP4

SGLang v0.5.15 引入了具有零开销调度的推测解码 V2，实现了端到端每秒 token 数量增加 11%，以及 IndexShare 多 token 预测（MTP），在长上下文场景下将草稿步骤成本降低高达 1.9 倍。此外，在 Blackwell GPU 上使用 NVFP4 量化后的 GLM-5.2 模型，在 8 卡 B300 上每用户每秒 token 数超过 500。 这些优化显著降低了生产环境中 LLM 服务的推理延迟和成本，尤其是在 NVIDIA 最新的 Blackwell 架构上。推测解码和量化方面的性能提升使得像 GLM-5.2、DeepSeek-V4 等大型模型的高吞吐、低延迟服务更加可行。 主要改进包括 Spec V2 的 CUDA 可图化草稿扩展与融合元数据操作、IndexShare MTP 跨步骤复用索引器 top-k、TopK V2 融合 top-k 与页表变换，以及针对 Blackwell 的 GEMM 形状专用 JIT 路由器。该版本还默认启用了可中断 CUDA Graph，并新增了线性注意力内核（KDA/GDN）以支持替代注意力机制。

NVIDIA 发布了 Qwen3.6-27B-NVFP4，这是一个使用自定义 NVFP4 格式量化到 4 位浮点数的 270 亿参数语言模型。这使得在兼容的 NVIDIA 硬件（尤其是 Blackwell GPU）上进行高效推理成为可能。 此次发布对本地 LLM 部署意义重大，因为它提供了一个强力的 270 亿参数模型，同时降低了内存占用和带宽需求。这展示了 NVIDIA 通过先进的量化技术，在消费级硬件上实现高质量推理的努力。 该模型基于 Qwen3.6，并使用 NVFP4——一种随 NVIDIA Blackwell 架构引入的 4 位浮点格式。NVFP4 采用两级缩放策略，包括细粒度的 E4M3 指数和二级 FP32 标量，以在超低精度下保持准确性。