技术进展

Kimi K2.5月底退役 K3接棒开源旗舰

Heooo 08月24日14时00分 22 阅读

「月之暗面宣布第一代万亿参数多模态模型Kimi K2.5本月底结束服役。该模型曾于今年1月开源并上线,在Agent、代码、图像等任务上取得开源SOTA表现。继任者Kimi K3已于7月开源,参数规模达2.8万亿,基于KDA混合线性注意力机制,支持视觉理解与百万token上下文窗口。」

月之暗面今日宣布,其第一代万亿参数多模态模型Kimi K2.5将于本月底正式结束服役。这标志着这一代旗舰模型完成了其技术使命,即将被新一代模型全面取代。Kimi K2.5于今年1月与开源版本同步上线,一经推出便成为当时Kimi系列中最智能的模型,在Agent、代码、图像、视频及一系列通用智能任务上取得了开源领域state-of-the-art的表现。

作为Kimi迄今最全能的模型,K2.5采用了原生的多模态架构设计,同时支持视觉与文本输入,兼顾思考与非思考模式,并可灵活应对对话与Agent任务。其定位是通用型多模态模型,能够在复杂推理、自动化任务和日常对话之间无缝切换。此次退役意味着用户将无法继续通过Kimi官方渠道使用K2.5,旧版本将被更为强大的新版本所替代。

接棒K2.5的正是月之暗面于今年7月正式开源的Kimi K3模型。K3是一个拥有2.8万亿参数规模的巨型模型,基于KDA混合线性注意力机制(Kimi Delta Attention)和注意力残差(Attention Residuals)技术构建,原生支持视觉理解,并拥有100万token的超长上下文窗口。月之暗面官方表示,K3是首个达到2.8万亿参数规模的开源模型,并且过去12个月中有9个月,Kimi系列都保持着开源模型规模的上限。

从K2.5到K3的升级,不仅是参数规模的量级跨越,更是架构层面的革新。KDA混合线性注意力机制旨在解决传统注意力机制在处理超长序列时的效率瓶颈,而注意力残差技术则进一步提升了深层网络的训练稳定性。这些技术积累为K3在复杂多模态任务上的表现提供了底层支撑。随着K2.5的退役,Kimi生态将全面迈向K3时代,开发者与用户也将迎来更强的开源模型能力。

# Kimi # 月之暗面 # 开源模型 # 多模态 # K3

来源:Heooo AI工具导航