Neon开源4B模型实现高效文档搜索

近日，完全托管的无服务器PostgreSQL数据库Neon与AI语音智能体平台Castform联合发布了一款专为检索任务优化的40亿参数开源语言模型。该模型通过强化学习进行后训练，在复杂文档搜索场景中展现出卓越性能。

据官方博文介绍，当前主流的嵌入式搜索方法依赖将文档转化为向量并匹配相似内容，而随着AI智能体的发展，更灵活的“智能体式搜索”逐渐兴起。此类系统能将复杂问题拆解为多个子查询，自主决定搜索策略、评估结果并迭代执行，直至获取完整答案。然而，这一流程通常需频繁调用高性能大模型，导致延迟高、成本昂贵——以GPT-5.6 Sol为例，单次请求耗时超10秒，成本约0.03美元。

为解决这一瓶颈，Neon与Castform合作训练了一个轻量级开源模型。Neon提供高效的文档存储与检索基础设施，Castform则专注于训练模型判断“应搜索什么内容”。训练过程中，系统根据是否找到正确文档、引用恰当段落及最终答案准确性等维度对模型输出评分，并将反馈用于后续优化。

验证结果显示，该4B模型在Neon设定的评估体系中平均得分为1.447，不仅优于GPT-5.6 Sol的1.369，也高于GPT-5.4的1.377，创下新高。更重要的是，其单次推理成本仅为0.000929美元（约合0.0063元人民币），相较GPT-5.6 Sol的0.087338美元（约0.59元人民币）大幅降低至约1/100，为高频率、低成本的AI智能体应用提供了可行路径。