法国AI新秀ZML发布开源推理加速软件

法国AI初创公司ZML近日发布了其最新产品——ZML/LLMD，一款旨在加速多种AI芯片上大语言模型推理性能的免费开源软件。这家由图灵奖得主Yann LeCun看好的公司，正试图打破当前AI芯片市场的“孤岛”局面，让企业能够更灵活地选择硬件，而不再被单一供应商所束缚。

ZML/LLMD是一个全新的LLM推理服务器，其核心目标是为各种开源大语言模型提供跨芯片的高性能推理支持。据ZML创始人Steeve Morin介绍，该软件能够兼容包括NVIDIA、AMD、Google TPU、Apple Metal以及Intel Arc在内的主流AI芯片，并力求在每种芯片上达到其最大可用速度，甚至在某些场景下实现更快的推理表现。

“随着AI深度融入我们的工作和日常生活，优化推理——即处理用户提示的过程——在重要性上已经超过了模型训练。但现实是，推理环节往往因为软件和架构的壁垒而显得零散，导致厂商锁定，”Morin在接受TechCrunch采访时表示。他认为，ZML/LLMD的发布正是为了解决这一痛点，让不同芯片都能在AI用例中发挥出最佳性能。

在AI成本日益受到关注的背景下，ZML的承诺——在多种芯片上实现峰值性能——不仅是一项技术壮举，更可能成为市场颠覆者。Morin指出，ZML希望为企业及云服务商提供使用混合芯片的选项，其中一些芯片可能成本更低或能耗更少。“我们的理念是让人们重新掌握构建自己系统的能力，实现真正的效率提升，从而推动AI的普及，”他说。

这种软件层面的助力，对于新兴的AI芯片制造商来说尤其重要。Morin特别提到了多家欧洲芯片公司，包括Axelera、Fractile、Kalray、OLIX、Q.ANT、SiPearl、SpiNNcloud和VSORA。他认为，这些公司的地域属性并非关键，真正重要的是ZML能够与他们合作，共同探索“世界上从未有人做过的事情”。

不过，Morin并不看衰NVIDIA。他坦言，ZML与这家AI芯片巨头保持着良好的关系，并且NVIDIA也一直在为推理需求的增长做准备。事实上，推理领域已成为投资热点，被称为“推理黄金热”。ZML并非孤军奋战，其竞争对手包括估值已达130亿美元的Baseten、由开源项目vLLM创建者创立的Inferact，以及SGLang背后的商业公司RadixArk。

尽管vLLM和SGLang在部分功能上与ZML/LLMD存在竞争，但Morin对ZML的愿景更为宏大。“我们已经到了与芯片设计公司共同设计硅片的阶段，”他透露。Morin将ZML的快速进展归功于其精干的团队——这家总部位于巴黎的初创公司仅有20名员工，但正是这种小团队结构让他们能够敏捷行动，并计划推出更多产品。

小团队的高效也得益于充足的资金支持。Morin此前曾担任Zenly的工程副总裁，该公司于2017年被Snapchat以九位数价格收购。凭借这一履历，他成功为ZML筹集了2000万美元，投资方包括Harry Stebbings的20VC、commit、AALVC、Drysdale Ventures、Xavier Niel的Kima Ventures、Kindred Capital、LocalGlobe和Puzzle Ventures等知名风投机构。

ZML/LLMD的发布，标志着AI推理基础设施领域迎来了一位强有力的新玩家。随着AI应用场景的持续扩展，如何高效、低成本地运行大模型已成为行业核心挑战。ZML通过开源软件打破芯片壁垒，不仅为企业提供了更多选择，也为欧洲新兴芯片生态注入了活力。未来，这家法国初创公司能否在“推理黄金热”中脱颖而出，值得持续关注。