#KV cache

vLLM v0.32.0 发布，包含 814 个提交和 363 名贡献者；新增默认提供的 \POST /v1/systemone\ 端点，用于对结构化状态回答 \choice\、\noul\ 和 \score\ 问题，并支持 \Cloudflare/clef-omni\ 等模型。新增 \--tool-call-parser hf\ 与 \--reasoning-parser hf\，通过读取 checkpoint 的 \response\template\，让自带该模板的模型无需专用解析器，Python 和 Rust 前端均支持。低精度 KV 缓存扩展到更多 NVIDIA 架构和 ROCm：NVFP4 覆盖 SM8x、SM12x 和 SM90，GLM-5.x 在 SM100 默认使用 FP8 KV 缓存，发布说明引用的 PR 基准称每个 rank 的 KV 内存减半、吞吐提高 2.3-5.5%，但 TTFT 增加 7-11%；ROCm 新增 \ultraquant\4bit\，密度约为 FP8 的 2 倍。该版本还包含破坏性变更：停止支持 Python 3.10、默认限制 CORS 来源、收紧 transformers/tokenizers 版本范围，并移除 cascade attention 等。

rss · ByteByteGo · 10月27日 15:31 「背景」 Apple 要把一个 30 亿参数的大模型放到 iPhone 上，首先要面对的是内存约束：16 位权重就接近 6GB，还要同时容纳提示词、KV 缓存、系统和其它应用。更麻烦的是内存带宽、功耗、散热，以及不能拖慢手机其它功能。 「方案」 作者梳理的核心思路，是同时压缩权重和推理缓存。权重侧采用调色板量化，把相似数值映射到小查找表；早期模型混合 2 位和 4 位、平均 3.7 位/权重，把 30 亿权重压到约 1.39GB，后续模型进一步让主解码器用 2 位、嵌入表用 4 位，并用量化感知训练适应这种精度。缓存侧采用跨层 KV 共享，按 5:3 把模型分成两段，后段复用前段最后一层的键值，使 KV 缓存内存下降 37.5%。功能侧不再为摘要、改写等任务复制整个模型，而是共享基础模型，加载 rank-16、16 位、约数十 MB 的 LoRA 适配器；运行时再结合 CPU、GPU、ANE，优化数据布局、数组切分和内存拷贝。简单任务留在设备端，复杂请求转到 Private Cloud Compute，以加密方式隔离处理并用混合专家并行计算；作者还提到 2026 年的 AFM 3 Core、总参数 20B 但仅激活 1–4B 的 Core Advanced，以及 PCC 使用 NVIDIA GPU/Google Cloud，不过全文基于公开资料，缺少实测的权衡数据。 「启示」 作者最终强调的是运行时资源决定模型能力：通过压缩、共享、适配器和云端回退，让同一个基础模型在不同硬件与任务上伸缩，而不是把完整大模型硬塞进手机。 标签: on-device LLM, quantization, KV cache, LoRA adapters, Apple Intelligence

rss · ByteByteGo · 10月21日 15:31 「背景」 LLM 请求的成本和延迟来自输入与输出 token；长指令、手册和历史对话被反复发送，相似问题又常以不同措辞出现，造成重复计算与生成。普通缓存难以直接套用，因为 LLM 的重复既发生在输入计算，也发生在答案层面，文章因此区分提示缓存与语义缓存。 「方案」 提示缓存复用 Transformer 预填充阶段的 KV 状态，按共享前缀精确匹配：稳定指令和参考资料必须放在最前，时间戳、请求 ID 或措辞变化都会让后续内容无法复用。它只省输入处理，输出仍需生成；以 Anthropic 的定价为例，缓存读取约为常规输入价的十分之一，写入更贵，因此只有多次复用才划算，从不复用就没有收益。语义缓存位于模型之外，把问题转成向量并检索相似问题，命中就返回旧答案；阈值越松命中率越高，却可能混淆“发货前/后取消订单”这类近义但答案相反的问题，0.92 的相似度也不等于 92% 的正确率。它还要把租户、权限、版本、语言、对话状态纳入范围，并用 TTL、版本化和提示变更来失效。两者可组合：先查精确或语义缓存，未命中再调用 LLM 并利用前缀缓存；但语义命中会跳过生成，也可能使前缀缓存失去刷新机会。 「启示」 作者认为，提示缓存适合共享上下文下仍需生成新答案的场景，语义缓存适合答案稳定的 FAQ；二者都不免费也不天然安全，应分别衡量前缀复用率与缓存答案的接受率、时效和适用范围，而非只看命中率。 标签: LLM caching, prompt caching, semantic caching, KV cache, cache invalidation