Salesforce联合英伟达发布推理模型Koa
「Salesforce在Dreamforce大会上发布公司首个推理模型Koa,基于英伟达开源权重模型Nemotron联合后训练,专攻销售、营销与客服任务。该模型不摄入客户真实数据,支持AI网关自动路由,并以更少token完成同等任务,为企业提供闭源前沿模型之外的开源权重替代方案。」
在今年的Dreamforce技术大会上,Salesforce发布了名为Koa的全新AI模型,这也是该公司推出的第一个推理模型。Koa并非从零开始训练,而是建立在英伟达开源权重模型Nemotron之上,由两家公司联合进行后训练,使其在销售、营销和客户支持等企业任务上表现出色。这一发布被外界视为本届大会最重磅的公告之一。
Koa的出现,被视为企业级AI的真实需求与前沿实验室产品路线之间分歧加剧的一个典型案例。前沿模型厂商更希望企业把文件、代码、提示词和反馈直接上传到它们的模型与智能体之中,并为此持续支付高昂费用。而Salesforce选择把选择权交回企业手中,让客户能够在不牺牲能力的前提下掌握更多主动权。
具体来看,Koa为企业客户提供了几项关键特性。其一,它是闭源前沿模型之外的一种开源权重替代方案。其二,它是被专门训练来完成具体工作任务的模型,而不是被用来解决高难度数学问题。其三,它没有摄入任何客户真实数据,因此根本不存在把数据泄露给其他方的风险。其四,完成同样的工作它消耗的token更少,有助于降低企业的AI支出。其五,它可以通过AI网关按需自动路由。其六,它遵循客户在Salesforce内部设定的全部数据要求与安全规范。这些特性叠加在一起,构成了一套面向企业场景的完整能力组合。
在Salesforce的Agentforce平台上,Koa将作为现有其他模型之外的又一种选择。客户在该平台上构建智能体,用来处理回答客服问题、安排预约等重复性任务。Salesforce AI执行副总裁Jayesh Govindarajan表示,公司此前已经构建了许多小型的任务专用语言模型,它们都是Agentforce模型组合的一部分,但推理能力一直是依赖前沿模型厂商来提供的,直到现在这一局面才被改变。
在Koa出现之前,如果某个智能体需要推理一个长时间运行或多步骤的任务,相关提示词会经由Agentforce的AI网关,被路由到前沿模型上去处理。这个网关正是整套系统中决定由哪个模型处理哪个请求的核心调度组件。而随着Koa加入,企业多了一种可以在内部完成复杂推理的选项,调度逻辑也因此有了更大的腾挪空间。
Govindarajan解释说,此前迟迟没有训练自己的企业级模型,最大的障碍在于缺少一个合适的预训练基座。要起步就必须有一个预训练模型作为基础,而要同时满足开源权重、达到前沿水平、并且训练数据来源清晰可追溯这三个条件,此前市面上几乎没有可选项。数据来源的不透明,意味着企业无法评估模型在合规与安全上的边界,这恰恰是企业客户最在意的一点。
对这类模型进行后训练,意味着要把它从通用系统转变为精通销售与客户支持知识的专用系统。为此,Salesforce与英伟达没有使用任何来自Salesforce客户的真实数据,而是构建了模拟客户行为模式的合成数据。他们模拟了一个完整的客户服务环境,其中包括扮演客服专业人员的角色、打进客服中心的情绪激动的客户,以及努力促成成交的销售专业人员等多种场景。这种合成数据既保留了真实业务的复杂度与语感,又彻底隔断了客户隐私外流的路径。
从行业角度看,Koa的意义不止于一个新模型的诞生。它清晰地展示出企业级AI正在沿着一条与通用前沿模型不同的路径演进:更低的token开销、更明确的数据边界、更贴合业务流程的任务能力,以及可被网关灵活调度的多模型架构。当企业开始认真衡量每一个token的成本与每一次数据流动的合规性时,专用化、可审计、成本可控的模型,很可能比参数量更大但用途泛化的通用模型更受欢迎。
对开发者与企业技术团队而言,这也提出了一个新问题:在未来的智能体架构中,究竟应该把多少推理任务交给外部前沿模型,又应该把多少留在自己掌控的模型之内。Koa给出的答案显然是后者占比更高,而这一思路是否会被更多企业平台效仿,将直接影响接下来一段时间AI基础设施的选型方向。
来源:Heooo AI工具导航