#world models

来自 General Intuition、Kyutai 和 Epic Games 的研究人员发布了 MIRA，这是一个具有 50 亿参数的交互式世界模型，在 1 万小时的合成《火箭联盟》数据上训练，能够在单个 B200 GPU 上以 20 FPS 支持 4 人实时游戏。 MIRA 展示了大规模世界模型在多玩家、物理复杂环境中的可行性，通过提供可玩演示和开源工具，可能加速游戏 AI、模拟和强化学习的研究。 该模型使用潜在扩散架构，根据所有四名玩家的动作生成视频帧，团队还发布了 1000 小时的四人游戏数据集、技术报告和可玩的在线演示。

LingBot-Video 是一个 13B 参数的稀疏 MoE 视频扩散 Transformer（活跃参数 1.4B），通过包含物理合理性奖励在内的六项奖励进行了强化学习后训练，并支持基于动作条件的机器人 rollout 预测即世界模型。 该工作通过结合稀疏 MoE 提升效率、强化学习后训练增强合理性，并开源权重与代码，推动了视频生成和世界建模的发展，是机器人与视频合成研究的有力候选。 该模型采用 DeepSeek-V3 风格的稀疏 MoE，拥有 128 个专家和 Top-8 路由，在 RBench 上取得平均最高分，但通用文生视频排名第二。物理合理性奖励由 VLM 评判，尽管加入了真实视频负样本，仍引发对奖励破解的担忧。

LingBot World 的研究人员发布了一个开源权重的交互式世界模型，该模型使用 MoBA 注意力掩码（混合双向和自回归注意力）以及基于长自滚动轨迹的蒸馏后训练，显著减少了漂移，并通过连续 60 分钟的稳定滚动展示了效果。 这项工作解决了交互式世界模型中的一个关键挑战——长滚动过程中的漂移积累——这限制了它们的实际可用性。MoBA 注意力与长滚动蒸馏的结合有望为视频游戏、机器人技术和虚拟环境等应用提供更稳定可靠的交互式模拟。 MoBA 注意力掩码通过动态调度 KV 缓存使得长滚动在计算上可行，模型使用 Plücker 嵌入和 AdaLN 进行相机控制。一个局限性是持久性仅在外观层面，而非身份层面，这意味着离开上下文窗口的区域在重新访问时会被重新生成，而非召回。权重以 CC-BY-NC-SA 许可证发布。