#local-LLM

NVIDIA 发布了 Qwen3.6-27B-NVFP4，这是一个使用自定义 NVFP4 格式量化到 4 位浮点数的 270 亿参数语言模型。这使得在兼容的 NVIDIA 硬件（尤其是 Blackwell GPU）上进行高效推理成为可能。 此次发布对本地 LLM 部署意义重大，因为它提供了一个强力的 270 亿参数模型，同时降低了内存占用和带宽需求。这展示了 NVIDIA 通过先进的量化技术，在消费级硬件上实现高质量推理的努力。 该模型基于 Qwen3.6，并使用 NVFP4——一种随 NVIDIA Blackwell 架构引入的 4 位浮点格式。NVFP4 采用两级缩放策略，包括细粒度的 E4M3 指数和二级 FP32 标量，以在超低精度下保持准确性。