#long-context

阶跃星辰在 Hugging Face 发布了旗舰智能体模型 Step 5 Preview，采用稀疏 MoE 架构，总参数 6000 亿、激活参数 270 亿，支持最高 100 万 token 上下文，并可接收文本、图像和视频输入。该模型定位智能体工作，厂商称其在软件工程、长周期智能体执行和金融等专业知识任务上表现领先，但作为预览版，这些性能宣称尚未提供独立基准验证。模型可通过 OpenAI 兼容 API 配合 vLLM 或 SGLang 部署，采用 StepFun Model License 1.0 许可。

据该条摘要，Google Research 提出“睡眠框架”，在持续学习中插入离线“睡眠”阶段，让大语言模型把短期上下文巩固为长期参数，以缓解灾难性遗忘。模型在主动交互与离线巩固之间周期切换，据报道在 1000 万 token 长上下文、持续翻译和数学推理测试中超过 GPT-4、SFT 等基线。上述基准结果仅来自二手摘要，尚缺论文细节和独立验证，不能视为已发布产品或可复现结论。