#mobile inference

淘宝 MNN 团队开源了约 3 亿参数的端侧模型 MNN-Pocket-0.3B，目标是让手机完全离线运行小型语言模型。团队称该模型在 iPhone 18 Pro 上平均解码约 350 token/s，INT4 部署文件为 173 MB，但上述性能尚未见到独立验证。MNN-Pocket-0.3B 最终采用 28 层结构，词表从 151K 精简至 64K，官方目标为峰值内存低于 300 MB、解码超过 200 token/s，并按预训练、后训练和端侧部署分别开源多个版本。