PrismML发布超小体积高性能LLM

在大模型动辄上百GB的时代，一家名为PrismML的AI初创公司正试图用“瘦身”技术颠覆行业认知。该公司近日发布了其最新压缩语言模型Bonsai 2 27B，仅占用5.9GB存储空间，却保留了原始模型Qwen3.8 27B高达98%的综合基准性能。

Bonsai 2 27B基于阿里巴巴开源的Qwen3.8 27B模型进行压缩，实现了9至10倍的内存缩减。这一突破意味着原本只能在云端或高端服务器运行的大语言模型，如今已可轻松部署于普通个人电脑，甚至有望在高端智能手机上本地运行。据TechCrunch报道，PrismML甚至可能正在与苹果公司洽谈合作，尽管CEO Babak Hassibi对此未予置评。

PrismML由加州理工学院（Caltech）的研究团队创立，由该校教授、压缩技术专家Babak Hassibi领导，并获得知名学者Ion Stoica（Databricks联合创始人、伯克利Sky Computing Lab主任）担任顾问。公司虽仅完成2225万美元种子轮融资，但其技术实力已吸引Khosla Ventures、Cerberus Capital及Caltech等机构投资。

其核心技术在于对模型“权重”的极致压缩。传统模型中每个权重通常使用16位浮点数表示，而PrismML采用名为“三值权重”（ternary weights）的方法，将权重简化为仅三种可能值：+1、−1 或 0。这种高度离散化的表示大幅降低了存储和计算需求，同时通过精巧的算法设计，几乎未牺牲模型性能。

数据显示，今年3月发布的初代Bonsai模型已达成95%的性能保留率，并被下载超过1100万次；更小的衍生模型也获得260万次下载。而Bonsai 2将这一数字提升至98%，证明其压缩技术正持续优化。Hassibi坦言，完全达到100%性能对等或许难以实现，但在实际应用中，2%的微小差距往往不会显著影响用户体验——尤其考虑到模型运行环境（如推理框架、提示工程等）对最终效果的影响同样关键。

尽管并非唯一探索LLM压缩的公司（如西班牙的Multiverse Computing也在该领域发力），PrismML凭借其学术背景与实测性能表现，正迅速成为边缘AI部署的重要推动者。随着本地化、隐私优先的AI应用需求激增，这类“小而强”的模型或将成为下一代智能设备的核心引擎。