#distillation

LingBot World 的研究人员发布了一个开源权重的交互式世界模型，该模型使用 MoBA 注意力掩码（混合双向和自回归注意力）以及基于长自滚动轨迹的蒸馏后训练，显著减少了漂移，并通过连续 60 分钟的稳定滚动展示了效果。 这项工作解决了交互式世界模型中的一个关键挑战——长滚动过程中的漂移积累——这限制了它们的实际可用性。MoBA 注意力与长滚动蒸馏的结合有望为视频游戏、机器人技术和虚拟环境等应用提供更稳定可靠的交互式模拟。 MoBA 注意力掩码通过动态调度 KV 缓存使得长滚动在计算上可行，模型使用 Plücker 嵌入和 AdaLN 进行相机控制。一个局限性是持久性仅在外观层面，而非身份层面，这意味着离开上下文窗口的区域在重新访问时会被重新生成，而非召回。权重以 CC-BY-NC-SA 许可证发布。