技术进展

Inkling-Small发布:四分之一规模媲美最强开源模型

Heooo 07月31日21时02分 33 阅读

「Thinking Machines Lab推出Inkling-Small模型,采用MoE架构,总参数276B,激活参数12B,约为Inkling的四分之一规模,性能媲美后者。该模型支持音频、图像原生推理及1M上下文,在多项基准测试中表现均衡,并已开放完整权重,接入Tinker微调服务。」

Thinking Machines Lab于近日发布博文,宣布推出其最新开源模型Inkling-Small。这款模型以约四分之一于旗舰模型Inkling的规模,实现了接近的性能表现,为AI社区提供了更高效的选择。

Inkling-Small延续了Inkling的混合专家(MoE)架构,但参数规模大幅缩减。具体而言,Inkling-Small的总参数为276B,激活参数为12B,而Inkling的总参数高达975B,激活参数为41B。尽管规模缩小,Inkling-Small依然支持音频和图像的原生推理,并保留了最高1M token的上下文窗口,这在同类小模型中颇为罕见。

在训练方面,Inkling-Small基于NVIDIA GB300 NVL72系统完成训练,这一基础设施的选择确保了模型在计算效率上的优势。Thinking Machines表示,Inkling-Small以更低的计算成本取得了接近Inkling的表现,尤其在智能体工具使用、推理和指令遵循等任务中,其效率甚至高于Inkling。

基准测试数据显示,Inkling-Small在推理和智能体任务中匹配或超越了Inkling。例如,在Humanity’s Last Exam测试中,Inkling-Small得分31.6%,高于Inkling的29.7%。此外,在每个思考预算下,Inkling-Small的测试时计算曲线均高于Inkling,这表明其在推理深度与资源消耗之间取得了更好的平衡。

为了推动开源生态发展,Thinking Machines已开放Inkling-Small的完整权重,并将其接入Tinker微调服务,开发者可通过Tinker Playground体验文本、图像和音频聊天功能。这一举措降低了开发者使用高性能模型的门槛,尤其适合资源受限但追求效率的应用场景。

行业观察人士指出,Inkling-Small的出现反映了AI模型小型化的趋势,即在保持核心能力的同时,通过架构优化和训练策略降低部署成本。对于开源社区而言,这类模型有助于推动更多创新应用落地,尤其是在边缘计算和实时交互领域。

# 开源模型 # 混合专家架构 # AI性能

来源:Heooo AI工具导航