随着Anthropic、Microsoft等AI服务商纷纷转向更激进的按量计费模式，许多开发者发现自己的编程项目成本正在急剧上升。Anthropic正考虑将Claude Code从其最实惠的套餐中移除，而Microsoft则直接将GitHub Copilot改为纯按量计费。面对这种趋势，一个令人深思的问题浮现出来：我们真的需要依赖Anthropic或OpenAI的顶级模型吗？或许，一个更小巧的本地模型就能满足需求。

虽然本地模型可能在速度、能力和使用体验上略逊一筹，但它的价格优势无可匹敌——完全免费，前提是你已经拥有合适的硬件。幸运的是，阿里巴巴最近发布了Qwen3.6-27B，这款模型据称将“旗舰级编程能力”压缩到了足以在32GB M系列Mac或24GB GPU上运行的体积。这为本地AI编程代理的普及提供了新的可能。

技术栈的成熟

这并非我们首次关注本地代码助手。此前，我们曾探索过使用Continue的VS Code扩展来完成代码补全和生成等任务。当时，模型和软件栈还不够成熟，虽然作为实用工具，但还不足以与大型前沿模型竞争。然而，自那以后，模型架构和代理框架都取得了显著进步。

“推理”能力让小型模型能够通过更长时间的“思考”来弥补体积的不足；混合专家模型意味着你不再需要每秒数TB的内存带宽来实现交互式体验；而大幅改进的函数和工具调用能力，则让这些模型能够真正与代码库、Shell环境和网络进行交互。这些技术进步共同推动了本地AI编程代理的可行性。

动手实践：部署本地AI编程代理

在本教程中，我们将探讨如何部署和配置Qwen3.6-27B等本地模型，用于计算机上的编程任务，并介绍一些可配合使用的代理框架。

所需硬件：

• 一台能够运行中型LLM的计算机。推荐使用至少24GB显存的Nvidia、AMD或Intel GPU。如果你的显存稍显不足，我们还会讨论如何合并系统内存和GPU内存。对于使用新款Mx-Max系列Mac的用户，建议至少拥有32GB统一内存。
• 本指南将使用Llama.cpp来运行模型，但如果你更倾向于使用LM Studio、Ollama或MLX，设置过程类似。如果需要在系统上安装Llama.cpp，可以参考我们之前的详细安装指南。

注意事项：较旧的M系列Mac在处理代理编程所需的大上下文长度时可能会遇到困难。此时，使用oMLX等推理引擎可能效果更好，因为它能更充分地利用Apple的硬件加速器，但实际效果可能因设备而异。

无限“氛围”，零速率限制

一旦完成部署，你将拥有一个完全本地、无速率限制的AI编程助手。无论是代码补全、生成、调试还是重构，都可以在无网络延迟、无隐私泄露风险的环境中进行。虽然本地模型可能在处理复杂任务时不如云端顶级模型，但对于日常编程、学习和实验来说，它已经足够强大。

更重要的是，这种方案让你彻底摆脱了按量计费的束缚。你可以尽情地“氛围编程”（vibe coding），无需担心每个API调用都会增加成本。对于个人项目、开源贡献或学习用途，这无疑是一种极具吸引力的选择。

随着模型架构的持续优化和硬件性能的提升，本地AI编程代理的实用性正在不断增强。未来，我们可能会看到更多开发者转向这种自主可控、成本低廉的开发方式。