#Model Compression

PrismML 发布了 Bonsai 27B，这是一个通过先进量化技术将大小从约 50GB 缩减至约 4GB、可在移动设备上运行的 270 亿参数语言模型，实现了设备端推理。 此举是设备端 AI 的重要进展，将大规模模型能力引入智能手机和边缘设备，无需依赖云端。它可能催生新的隐私保护和离线应用，并引发苹果等大公司的关注。 该模型可能基于 Qwen 2.5 架构（社区暗示），并采用三值量化（类似 BitNet）实现极限压缩。但社区基准测试显示，其工具调用性能相比 Gemma 4 12B 等同类模型显著下降。