一项在单个 NVIDIA L4 GPU 上通过 vLLM 服务 Gemma 2 9B 的 FP8 量化基准测试显示，对于长上下文提示，FP8 使首次令牌时间（TTFT）增加高达 58%，而中等长度生成的端到端延迟则有所降低。 这项分析揭示了 FP8 量化在消费级硬件上的隐藏预填充开销，帮助工程师在部署自托管 LLM 时在延迟、质量和显存之间做出明智权衡。 未量化模型在复杂长上下文提示下的 TTFT 为 866.93 毫秒，而 FP8 飙升至 1372.12 毫秒；然而，对于中等长度序列，FP8 将平均客户端总时间从 12.29 秒降至 11.53 秒，并释放了显存以支持更大的批次大小。
背景
LLM 推理包括两个阶段：预填充（处理输入提示）和解码（生成令牌）。FP8 量化减少内存带宽，但在计算密集的预填充阶段增加了反量化开销。vLLM 是一个开源推理引擎，支持高效服务，具有 PagedAttention 等特性。