开源模型百倍降价挑战前沿检索性能

在人工智能快速迭代的今天，如何以更低的成本获得更强大的模型能力，始终是开发者社区关注的焦点。近日，一家名为Castform的初创公司联合数据库服务商Neon，发布了一项引人瞩目的技术成果：通过强化学习后训练（RL post-training）的开源模型，在检索任务上成功击败了业界顶尖的闭源模型GPT-5.6 Sol，而成本仅为后者的百分之一。这一消息迅速在Hacker News上引发热议，为AI应用开发提供了全新的思路。

Castform的联合创始人Ying Hang Seah在技术博客中指出：“大多数团队最好的训练数据就静静地躺在他们的数据库里。问题在于，将原始数据转化为可用形式非常困难，而让代理（agent）能够低成本、大规模地读取、搜索和修改数据，则需要先进的基础设施支持。”他进一步解释，一个优秀的代理需要在两个关键领域表现出色：一是上下文能力，即能否提供合适的工具来找到正确的数据；二是模型能力，即模型能否自主决定搜索什么。Neon的Lakebase Postgres及其新的搜索扩展解决了前者，而Castform则专注于后者。

检索技术的演进：从嵌入搜索到代理式检索

回顾检索技术的发展历程，大约在2022年，行业曾全力投入嵌入搜索（embedding search）。几乎每个数据库供应商都提供了相关功能，pgvector更是成为Neon下载量最高的扩展。当时，为了给大语言模型（LLM）提供上下文，工程师们手工构建RAG（检索增强生成）流程，其本质是某种形式的嵌入相似度搜索。然而，这种一次性查询的模式在面对复杂问题时显得力不从心。

到了2025年，代理（agent）开始获得更多关注。开发者开始构建多跳搜索工作流，将大问题分解为小问题，检索方式也从一次性搜索系统转向代理式检索。模型不再发出单一查询，而是进行多轮规划和搜索循环。但每一次循环迭代都意味着对前沿模型的一次调用，这显著增加了每次用户请求的总成本和延迟。具体而言，使用gpt-5.6-sol进行典型的多轮搜索请求，端到端耗时超过10秒，成本约为0.03美元，这对于实际应用来说既缓慢又昂贵。

开源模型的逆袭：成本与性能的平衡

与此同时，小型开源权重模型的价格优势明显，成本仅为闭源模型的百分之一。然而，开箱即用的开源模型在能力上往往落后于闭源API模型。Castform的解决方案是引入强化学习后训练（RL post-training），这一技术能够有效弥合能力差距。在搜索等特定任务上，经过后训练的开源模型不仅能够与前沿模型匹敌，甚至能超越它们，同时每次请求的成本却低出几个数量级。

这正是Castform创建的初衷：让开发者能够对模型进行RL后训练，而无需处理机器学习和GPU内部的复杂细节。他们的目标是将后训练变得像提示工程（prompt engineering）一样平易近人，从而降低AI应用开发的门槛。

利用现有数据：后训练的实践路径

要有效执行RL后训练，需要三个核心要素：一个任务（例如回答用户问题）、一个代理运行的环境（例如针对语料库的搜索工具）以及一个奖励函数（例如答案是否正确）。当这三个要素齐备后，RL后训练就变成了一个试错循环：模型尝试使用工具完成任务，奖励函数对尝试进行评分，反馈信号引导模型逐步优化性能。

然而，大多数公司并没有现成的任务和奖励函数数据集可供后训练使用。幸运的是，企业通常拥有大量专有数据，包括内部文档、产品记录、支持文章、客户交互记录、维基以及运营数据库。这些数据蕴含着代理所需的知识，但将其转化为有效的训练数据集通常需要大量的数据工程和人工操作。Castform的管道正是为了解决这一痛点而设计，它直接运行在Neon的Lakebase Search之上，让企业能够轻松利用自己的数据资产。

未来展望：后训练民主化

Castform和Neon的合作展示了AI基础设施领域的创新方向。通过将数据库能力与模型后训练工具深度集成，他们为开发者提供了一条从数据到智能的捷径。这种模式不仅降低了成本，还大幅缩短了开发周期，使得中小团队也能构建高性能的AI代理。

随着开源模型能力的持续提升，以及后训练技术的日益普及，我们有理由相信，未来的AI应用将更加多样化和个性化。正如Ying Hang Seah所言，让后训练像提示工程一样简单，这将开启一个全新的时代，让更多创意得以实现。对于开发者而言，这无疑是一个值得关注的趋势。