Mesh LLM：分布式AI计算新范式

当人们谈论运行大语言模型时，脑海中浮现的通常是数据中心——一排排属于他人的 GPU、按调用计费的 API，以及随着业务增长不断膨胀的账单。用户将自己的提示发送到黑盒中，只能寄希望于模型、价格和隐私政策在注册时保持不变。对于许多团队来说，这是一种糟糕的权衡：他们失去了对模型何时更新、数据流向何处以及底层硬件配置的控制权。

Mesh LLM 提供了一种截然不同的解决方案。它能够将团队已有的 GPU 和内存资源汇集起来，跨任意数量的机器进行整合，并将整个集群暴露为一个兼容 OpenAI 的 API。用户只需启动一个节点，后续可随时添加更多节点，而网格系统会自动决定模型是在本地机器上运行、路由到对等节点，还是跨多台机器拆分执行。

当前主流大模型通常是单体架构，大多数用户通过 UI 或 API 密钥访问，并支付费用给大型提供商来运行一切。这种模式虽然便利，但也意味着放弃控制权——用户无法决定模型何时更新、运行在何种内存中，以及底层使用什么硬件。许多依赖这些模型的企业和服务恰恰希望获得相反的效果：更多的控制权、更强的可插拔性以及更低的成本。它们可能拥有闲置的 GPU，散落在办公室、壁橱甚至办公桌下，但缺乏一种方式让这些机器协同工作。

Mesh LLM 的核心理念非常简单：在不购买更贵 GPU 的前提下运行更大的模型。用户可以在团队内私密共享计算资源，或向全世界公开共享，以驱动智能体和聊天应用。只需将任何 OpenAI 客户端指向 http://localhost:9337/v1，即可不再关心计算实际发生在哪里。在底层，Mesh LLM 通过 iroh 端点网格分布模型计算。请求有三种处理方式：在本地机器的 GPU 上运行；路由到已加载该模型的对等节点；或将单个机器无法容纳的大模型按层拆分，跨多台机器形成流水线执行。

该架构具有高度可插拔性。插件通过清单声明自身提供的能力，运行时负责启动插件、路由调用，并通过 MCP、HTTP、推理和网格事件暴露其功能。内置模型目录包含 40 多个模型，从适合笔记本运行的 5 亿参数模型，到 2350 亿参数的混合专家巨模型，一应俱全。对于巨型模型，Mesh LLM 提供了拆分模式（内部称为“Skippy”）。模型按层范围划分为多个阶段：第 0 层到第 15 层运行在一个节点上，第 16 层到第 31 层运行在下一个节点上，以此类推，形成流水线。激活值从一个阶段流向下一阶段，使得多台普通机器能够运行任何一台机器都无法独自容纳的模型。而 OpenAI 客户端对此毫无感知，它仍然只与本地主机通信。

每个节点，无论是提供模型服务还是仅发送请求，都会启动一个 iroh 端点。该端点代表节点的身份，用于发现对等节点、建立连接和传输数据。iroh 提供的点对点网络能力让 Mesh LLM 能够灵活地组织计算拓扑，同时保持通信的私密性和效率。这种设计使得团队可以逐步扩展计算能力，从单机开始，逐步加入更多节点，而无需修改应用代码。

Mesh LLM 的出现为那些希望摆脱大型云服务商锁定、降低 AI 计算成本并保留数据控制权的团队提供了一条新路径。通过利用现有硬件资源，团队可以运行更大规模的模型，同时保持对基础设施的完全掌控。该项目目前已在 GitHub 上开源，社区可以自由使用、修改和贡献，进一步推动分布式 AI 计算的民主化进程。