#AI inference

SemiAnalysis 发布了其称为首批的 TPUv7 Ironwood 在 InferenceX/AgentX 长上下文、多轮智能体推理基准上的结果，覆盖 Muse Spark、GLM-5.2、Qwen3.5 和 Kimi K3 四个模型，部分由 RadixArk（SGLang）和 Inferact（vLLM）等开源生态开发者提交。在 FP8 下，TPUv7 的每美元 token 数在 GLM-5.2 上达到 B200、B300 和 MI355X 的 1.2 至 2.7 倍，在 Kimi K3 上达到 GB200、B200、B300 和 MI355X 的 1.15 至 2.5 倍；Qwen3.5 配合 llm-d 分离式服务在各级交互性上超过 GB300 FP8，并在更高精度下与 GB300 FP4 持平。文章同时指出，NVIDIA NVFP4 在 GLM-5.2 上仍胜过 TPUv7 FP8，但存在精度/质量损失；上述数字来自 SemiAnalysis 基准及生态方提交，并非独立全面复现。SemiAnalysis 还称 Google 正与 Meta PyTorch 团队、vLLM、SGLang、llm-d、Ray 等上游维护者合作，以补齐软件生态。

Cerebras 发布博客文章，称其晶圆级硬件能够部署参数规模达万亿级的前沿 AI 模型。可获取的摘录没有说明具体是哪些模型、推理吞吐或延迟数据，也没有给出开放使用的时间表，因此这目前仍是厂商层面的部署能力说明，而非独立验证的结果。对关注大模型推理基础设施的读者而言，关键待确认信息是模型目录、实际性能和可获得的容量。