27B级模型首次在手机上运行

Prism ML 团队今日正式发布 Bonsai 27B，这是业界首款能够在手机上运行的 27B 参数级大语言模型。该模型基于 Qwen3.6 27B 基础模型进行深度优化，通过极致的权重量化技术，将模型体积压缩至传统 16-bit 精度的十分之一以下，从而首次让如此大规模的 AI 模型在移动设备上实现本地部署。

Bonsai 27B 提供两个版本：三元版本（Ternary Bonsai 27B）采用 {−1, 0, +1} 权重值，配合 FP16 分组缩放，有效位宽仅为 1.71 bits/weight，模型体积为 5.9GB。该版本面向追求高质量输出的场景，可在普通笔记本电脑上流畅运行，并完整保留推理、工具调用和代理能力。1-bit 版本（1-bit Bonsai 27B）则进一步压缩至 {−1, +1} 二进制权重，有效位宽仅 1.125 bits/weight，体积缩小至 3.9GB，正好适配 iPhone 17 Pro 的内存预算，实现了 27B 级模型在手机上的首次落地。

值得注意的是，Bonsai 27B 的低比特表示贯穿整个语言网络，包括嵌入层、注意力机制、MLP 层和语言模型头部，没有任何高精度逃逸通道。这意味着模型从输入到输出的每一个环节都运行在极低精度下，从而保证了端到端的内存效率和计算速度。同时，该模型还具备多模态能力，视觉塔以紧凑的 4-bit 形式集成，使得设备端工作流能够处理截图、文档和摄像头输入，而不仅仅是文本。

在性能保留方面，Bonsai 27B 的表现令人印象深刻。在涵盖知识、推理、数学、编码、指令遵循、工具调用和视觉任务的 15 项基准测试中（均在思考模式下评估，即模型完整推理能力被充分调用），三元版本保留了全精度基线模型 95% 的性能，而 1-bit 版本也保留了 90%。具体来看，数学和编码能力几乎未受影响，工具调用能力与全精度模型相差不到几个百分点——而这正是代理工作负载所依赖的核心能力。作为对比，同等基础模型采用最激进的传统低比特量化方案，在占用 2.5 倍内存的情况下，得分仍显著低于 1-bit Bonsai 27B。

Bonsai 27B 还支持完整的 262K token 上下文长度，并集成了投机解码技术，通过无损的草稿-验证加速机制，进一步提升了推理速度。该模型现已以 Apache 2.0 许可证开源，开发者可以自由下载、修改和部署。

Prism ML 团队表示，Bonsai 27B 延续了他们此前在语言模型和图像模型上展示的帕累托优化：以比全精度 2B 模型更小的占用空间，提供 27B 级别的能力。这一突破将极大推动边缘 AI 的发展，使得复杂的 AI 应用（如多步推理、结构化工具调用、视觉理解和计算机使用代理循环）能够在手机和笔记本电脑等个人设备上本地运行，无需依赖云端服务。