Liquid AI发布端侧智能体模型LFM2.5
「Liquid AI推出专为智能体工作流设计的端侧模型LFM2.5-2.6B,拥有26亿参数,无需云端API即可在手机等终端本地运行。该模型基于34万亿词元预训练,通过四阶段后训练流程,在指令遵循和工具使用上媲美近四倍规模的大模型,推理速度在M5Max上达220token/秒,已全面开源并支持主流框架。」
近日,AI初创公司Liquid AI正式发布了专为智能体工作流设计的端侧模型LFM2.5-2.6B。该模型拥有26亿参数,无需依赖云端API即可在智能手机等终端设备上完全本地运行,为开发者提供了低成本、低延迟且兼具隐私保护的端侧智能体解决方案。这一发布标志着端侧AI从实验走向实用化的重要一步。
在技术架构与训练路径上,LFM2.5-2.6B基于约34万亿词元进行预训练,词表扩展至128K,为模型提供了强大的语言理解和生成基础。其后训练流程整合了监督微调、教师特化、多领域在策略蒸馏以及智能体强化学习四个阶段,这一精心设计的训练管线赋予了模型出色的规划、工具调用与复杂多步骤任务处理能力。基准测试显示,该模型在指令遵循和工具使用上的表现可媲美规模近四倍的大模型,展现了高效能端侧模型的巨大潜力。
硬件适配与推理性能方面,LFM2.5-2.6B表现亮眼。在M5Max芯片上,其推理速度可达220token/秒,即使在手机端也能稳定维持30token/秒的响应速度,满足了实时交互的需求。这种高能效设计使得开发者可以在资源受限的设备上部署复杂的智能体应用,而无需担心性能瓶颈。
目前,LFM2.5-2.6B及其基础版本已在Hugging Face全面开源,并原生支持llama.cpp、MLX、vLLM等主流推理框架。这一举措不仅降低了开发者的使用门槛,也促进了端侧智能体生态的繁荣。Liquid AI表示,未来将继续优化模型架构,探索更高效的训练方法,以推动端侧AI技术的持续进步。随着端侧模型的不断成熟,我们有望看到更多创新应用在移动设备上落地,为用户带来更智能、更私密的AI体验。
来源:Heooo AI工具导航