#LLM inference

月之暗面在 Hugging Face 发布 Kimi K3.1 Pro 的开放权重，称其为原生多模态智能体模型，总参数 2.8T、激活 104B、上下文约 100 万 token，是 K3.1 系列首个模型；权重以 MXFP4 量化形式提供。官方同步在 platform.kimi.ai 开放 API，模型名为 kimi-k3.1-pro，兼容 OpenAI 与 Anthropic 接口。上述参数与能力来自发布方说明，帖子本身没有给出可核验的基准测试结果。

RunAnywhere 开源了一套面向 AWS Trainium2 的推理引擎，可在单台 trn2.48xlarge 上服务 320B MoE、1M token 上下文的 GLM-5.3-Flash，并把每个层的一半计算改写为单个 NKI 巨型内核（稀疏注意力层则整层一个）。作者称，同一布局下 batch 8 解码步从 10 月 17 日构建的 32.2 ms 降至 11 月 1 日构建的 24.2 ms；融合稀疏注意力层省 3.2 ms，KDA 与 MoE 内核合计再省 3.2 ms，而 24.2 ms 中仍有 6.1 ms 内存下限、10.0 ms 超出下限的引擎忙碌和 2.8 ms 暴露的集合通信。在作者自跑的 SemiAnalysis AgentX 上，单机最高 28.9 个 agent 请求/分钟，16 个 agent 时中位解码 35.9 tokens/s；但作者明确说没有 AWS 原生基线、没有 GPU 同轨迹对比，也未做任务级评测。精度方面，稀疏注意力 prefill 的一处近似影响 1.2% 的选择，相对精确重跑使下一 token 对数概率平均偏移 0.012–0.021 nats，并在 448 个位置中的 3 个改变了最高概率 token。

vLLM v0.32.0 发布，包含 814 个提交和 363 名贡献者；新增默认提供的 \POST /v1/systemone\ 端点，用于对结构化状态回答 \choice\、\noul\ 和 \score\ 问题，并支持 \Cloudflare/clef-omni\ 等模型。新增 \--tool-call-parser hf\ 与 \--reasoning-parser hf\，通过读取 checkpoint 的 \response\template\，让自带该模板的模型无需专用解析器，Python 和 Rust 前端均支持。低精度 KV 缓存扩展到更多 NVIDIA 架构和 ROCm：NVFP4 覆盖 SM8x、SM12x 和 SM90，GLM-5.x 在 SM100 默认使用 FP8 KV 缓存，发布说明引用的 PR 基准称每个 rank 的 KV 内存减半、吞吐提高 2.3-5.5%，但 TTFT 增加 7-11%；ROCm 新增 \ultraquant\4bit\，密度约为 FP8 的 2 倍。该版本还包含破坏性变更：停止支持 Python 3.10、默认限制 CORS 来源、收紧 transformers/tokenizers 版本范围，并移除 cascade attention 等。

DeepSeek 在 GitHub 上发布了名为 DeepInfer 的仓库，并将其定位为面向 DeepSeek 模型的高性能推理框架，该仓库在 Hacker News 上引发了大量讨论。但本次条目未附带任何仓库内容，既没有文档，也没有版本号、基准数据或硬件兼容清单，因此其吞吐、延迟与部署成本目前无法核实。讨论中的具体性能数字均来自评论者转述的第三方文章，而非官方材料。