#kernel optimization

RunAnywhere 开源了一套面向 AWS Trainium2 的推理引擎，可在单台 trn2.48xlarge 上服务 320B MoE、1M token 上下文的 GLM-5.3-Flash，并把每个层的一半计算改写为单个 NKI 巨型内核（稀疏注意力层则整层一个）。作者称，同一布局下 batch 8 解码步从 10 月 17 日构建的 32.2 ms 降至 11 月 1 日构建的 24.2 ms；融合稀疏注意力层省 3.2 ms，KDA 与 MoE 内核合计再省 3.2 ms，而 24.2 ms 中仍有 6.1 ms 内存下限、10.0 ms 超出下限的引擎忙碌和 2.8 ms 暴露的集合通信。在作者自跑的 SemiAnalysis AgentX 上，单机最高 28.9 个 agent 请求/分钟，16 个 agent 时中位解码 35.9 tokens/s；但作者明确说没有 AWS 原生基线、没有 GPU 同轨迹对比，也未做任务级评测。精度方面，稀疏注意力 prefill 的一处近似影响 1.2% 的选择，相对精确重跑使下一 token 对数概率平均偏移 0.012–0.021 nats，并在 448 个位置中的 3 个改变了最高概率 token。