技术进展

腾讯微信公布WeLM大模型聚焦高效利用

Heooo 08月13日08时03分 22 阅读

「腾讯微信团队公布自研大语言模型WeLM,涵盖WeLM-80B与WeLM-617B两个规格。WeLM-80B已部署于微信原生AI助手小微,支持聊天搜索、调用小程序服务等功能。WeLM-617B为混合专家模型,正在开发中,旨在面向微信生态复杂任务提供支持。」

腾讯微信团队近日公布了由其自研的大语言模型WeLM,这一举措标志着微信在人工智能领域的深度布局迈入新阶段。根据官方公布的信息,WeLM系列以资源利用效率为核心设计理念,在模型规模和计算效率之间寻求平衡,体现出微信团队对实际部署场景中算力成本与性能表现的深度考量。

从已经明确的规格来看,WeLM系列目前包含两个版本。WeLM-80B拥有800亿总参数,但激活参数仅为30亿,这种稀疏激活的设计使得模型在保持较强能力的同时,推理过程中的计算开销大幅降低。目前,WeLM-80B已经正式部署于微信原生AI助手小微,成为该助手底层智能能力的重要支撑。

在应用层面,接入WeLM-80B的小微AI助手支持多项核心功能,包括聊天与搜索、使用微信原生功能以及调用小程序服务。这意味着用户可以在与小微的交互过程中,直接唤起微信生态内的各种服务能力,实现更加流畅和自然的智能体验。相较于传统大语言模型全量激活参数的计算方式,WeLM的稀疏激活策略在工程实现上具有显著的资源效率优势,也为端侧与云端协同部署提供了更大的灵活性。

另一方面,WeLM-617B作为系列中的超大规模版本,拥有6170亿总参数,激活参数为230亿,目前正处于开发阶段。该版本采用混合专家模型架构,在保持适度激活参数的前提下,显著提升通用理解与逻辑推理能力。微信团队将其定位于面向微信生态内的复杂任务,包括智能小程序开发与小微工具生成等场景。这预示着未来微信生态中的开发者乃至普通用户,都有可能借助WeLM的能力完成更多高复杂度的任务,从而进一步降低智能应用的门槛。

整体来看,WeLM的推出体现了微信在模型效率与能力并重方面的技术思路。通过对总参数与激活参数的精细权衡,WeLM在保证性能的前提下优化了部署成本,为大规模语言模型在真实业务场景中的落地提供了有益参考。随着WeLM-617B的后续落地,微信生态的智能化水平有望获得进一步提升,而其在大语言模型领域的技术积累也将为更广泛的应用场景提供基础支撑。

# WeLM # 大语言模型 # 腾讯微信 # AI助手 # 混合专家模型

来源:Heooo AI工具导航