Salesforce携手英伟达推出Koa企业推理大模型
「Salesforce发布首款推理大模型Koa,基于英伟达开源权重Nemotron联合微调打造,专注销售、营销与客服任务。模型未摄入真实客户数据,采用合成数据集训练,词元消耗更少,将作为Agentforce平台可选模型,为客户提供闭源前沿模型之外的开源权重备选方案。」
在近期举行的Dreamforce技术大会上,Salesforce发布了名为Koa的全新AI模型,这是该公司首款推理大模型,基于英伟达开源权重的Nemotron模型打造,并由两家企业联合完成后续微调训练,让其擅长处理销售、市场营销以及客户服务类任务。
Koa的定位十分清晰:作为闭源前沿大模型之外、采用开源权重的备选方案。与闭源实验室更希望企业把文件、代码、提示词以及反馈全部上传到自家模型与智能体的思路不同,Salesforce选择把安全与数据管控能力深度内嵌于自家平台内部。
官方披露的几项关键特性包括:专门针对实际业务任务训练,而不是主攻高难度数学解题;训练过程没有摄入任何真实客户数据,因此不存在向外泄露客户数据的风险;完成同等业务任务消耗的词元数量更少,有助于降低AI使用成本;可以根据业务需求,经由AI网关实现自动调度路由;完全遵从客户的数据管控要求。
在微调阶段,Salesforce与英伟达没有使用任何Salesforce的真实客户数据,取而代之的是自行生成模拟业务的合成数据集。Salesforce人工智能业务高级副总裁杰耶什 · 戈文达拉扬介绍:“我们完整模拟了客服业务场景:设定专职客服人员角色,模拟打进客服热线的愤怒投诉客户,也模拟了努力推进成交的销售人员。”
Koa将作为Agentforce平台上的可选模型。客户可以在该平台搭建AI智能体,用来处理客服问答、预约排期这类重复性工作。此前,如果智能体需要完成长流程或者多步骤的推理任务,对应的提示请求就会经由Agentforce的AI网关转发至Claude或者ChatGPT这类第三方前沿大模型。戈文达拉扬表示,此前公司已经开发过不少面向专项任务的小型语言模型,都属于Agentforce产品矩阵的一部分,但复杂推理任务过去一直依赖外部前沿模型服务商,“这种局面到现在终于改变了”。他同时提到,过去迟迟没有训练自研的企业级高性能推理模型,难点在于缺少合适的预训练基础底座模型,需要同时满足性能处于第一梯队以及拥有清晰完整的数据溯源等要求。
英伟达企业生成式AI软件副总裁卡里 · 安 · 布里斯基表示,依托Nemotron底座,这套独特的推理架构可以很好地控制词元开销,同时达成三项关键目标:AI自主可控、首包响应速度快、推理运算高效,从词元经济层面实现理想效果。相比于把同类业务请求交给Claude或者ChatGPT处理,Koa的目标是更加擅长Salesforce客户的业务工作,并且在词元消耗上更加省钱。
值得注意的是,Salesforce并没有就此放弃与Anthropic、OpenAI的合作。该公司刚刚宣布与Anthropic达成一项名为ClaudeForce的合作项目,企业用户可以直接以Claude作为AI交互前端,同时所有业务数据依旧保存在Salesforce的业务记录系统之内,由Salesforce基础设施提供安全防护。从Koa到ClaudeForce,可以看出一个明显趋势:面向企业的AI需求,正在与前沿AI实验室提供的通用产品逐渐分化,企业在模型选型上更看重数据可控、成本可算与业务贴合度。
来源:Heooo AI工具导航