面壁智能联合清华开源端侧低比特大模型

面壁智能近日联合清华大学、OpenBMB开源社区，正式发布并开源了在低比特大模型训练方向的最新突破成果——BitCPM-CANN。该成果在华为昇腾平台上原生完成，标志着端侧AI大模型在轻量化与工程落地方面迈出了关键一步。

本次开源的BitCPM-CANN包含0.5B、1B、3B、8B四个模型尺寸，与同尺寸全精度家族模型进行逐项对照评测，表现十分优异。相比传统BF16精度，该模型在推理阶段能够释放约6倍的显存红利，让大模型运行的硬件门槛大幅降低。

对于手机产业而言，6倍的显存红利意味着原本对配置要求极高的8B参数级别大模型，如今也可以轻松流畅地运行在主流旗舰手机之上。这种对内存空间的极致释放，将直接加速端侧AI技术在移动设备上的普及与商用落地。

在精简模型体积的同时，BitCPM-CANN依然保持了极高的性能水准，其模型能力保留率成功维持在90%至97.2%之间。其中，三个主要尺寸模型的能力保留率均达到了95.7%—97.2%，即使是体积最小的0.5B模型，其保留率也超过了90%。

这一亮眼的评测结果，系统性地证明了低比特训练技术路线具备极强的可扩展性与工程可复现性。面壁智能基于相关主干搭建了完整的低比特训练底座，涵盖环境适配、32K长序列支持及融合算子等完整工程体系，为后续面向昇腾的低比特训练工作筑牢了公共基础设施。

此次开源不仅展示了端侧大模型在显存效率上的重大突破，也为开发者提供了可直接复用的低比特训练工具链。随着BitCPM-CANN的发布，未来更多移动设备将能够原生运行高性能AI模型，推动智能终端从“云端依赖”向“端侧自主”转型，进一步拓展AI在实时交互、隐私保护等场景的应用边界。