#ML training

rss · SemiAnalysis · 10月23日 19:06 「背景」 Trainium 已在推理侧得到验证——Anthropic 在 Trainium2/3 上跑生产推理和 RL rollout——但研究训练要覆盖快速迭代的架构、消融实验和更广的 API 面，旧栈难以胜任。 「方案」 作者认为 AWS 的关键转向是 TorchNeuron：放弃 PyTorch/XLA 的惰性图和 xm.step\(\)，改为 eager、torch.compile 与标准 API 的原生 PyTorch 体验，并挖来 Google 原生 Torch on TPU 负责人。SemiAnalysis 试用 Trainium3 数周，称方向很好但仍有 bug、远不及 CUDA 成熟；AWS 用最多 8 万物理核做自动化质控，并靠 agentic coding 加速修复。文章把训练视为通用性问题：数千算子都要反向传播，还要兼容偶然出现的高精度算子。因此 AWS 用 10 万+ Hugging Face 模型覆盖不同 normalization、MLP、MoE 与 attention 布局，除崩溃外还测性能、CPU fallback、graph break，并与 CPU/Nvidia 基线比对张量数值和 loss 曲线；作者强调，MFU 再高若数值出错也无意义。剖析器上，作者称 Neuron Explorer 优于 Nvidia/AMD 工具，并展示其细粒度剖析；Nsight Compute 偏聚合指标，QuACK 的 intra-kernel 剖析最接近但仍需定制 Perfetto 集成。但摘录中的这些优势多为体验性断言，关键演示和细节在付费墙后。 「启示」 作者的核心判断是，Trainium 正从“推理可用”转向“能承载研究训练”，关键不在峰值效率，而在原生 PyTorch 体验、训练通用性与数值正确性。方向已获其认可，但离 CUDA 级成熟仍有距离，相关优势也尚待更完整证据。 标签: AWS Trainium, PyTorch, ML training, profiling, hardware accelerators