阿里5nm RISC-V芯片原生跑通270亿参数大模型
「阿里巴巴达摩院旗舰级CPU玄铁C950成功原生运行通义千问3.8-27B大模型,标志着RISC-V架构首次不依赖GPU和模拟层直接驱动270亿参数级别AI模型。该芯片采用台积电5nm工艺,集成64核心,推理性能刷新全球RISC-V纪录。」
阿里巴巴达摩院今年3月发布的旗舰级CPU玄铁C950迎来了发展史上的重要里程碑——成功原生运行通义千问3.8-27B大模型。这一突破标志着RISC-V架构芯片在不依赖GPU、无需任何模拟层的情况下,首次直接驱动270亿参数量级的大型人工智能模型,展现出令人瞩目的技术潜力。
作为一款64位服务器级处理器,玄铁C950采用台积电5nm工艺制造,内部集成高达64个计算核心,通过每8核一组的高速AMBA CHI总线实现互联,主频最高可达3.2GHz。在硬件架构上,该芯片不仅具备8指令译码宽度和16级流水线设计,使其访存带宽较上一代玄铁C920提升超过4倍,还在芯片内部直接集成了专为AI推理负载量身优化的矩阵加速引擎与向量加速引擎。凭借卓越的设计,其单核通用性能在SPECint2006基准测试中突破70分,成功刷新全球RISC-V CPU的性能纪录。
在实际运行表现方面,当玄铁C950驱动通义千问3.8-27B模型时,解码速度达到了每秒30个Token,首Token延迟则被稳稳控制在1.9秒以内。传统模式下,运行如此规模的模型通常需要16GB至24GB的独立显存支持,而玄铁C950仅凭CPU本体外加片上加速引擎便能独立完成整个推理过程,彻底省去了外接独立显卡的繁琐配置。
从行业生态的宏观层面来看,RISC-V的开源特性赋予了其独特的战略优势。与依赖x86或ARM架构需要支付高昂授权费用的模式不同,阿里巴巴通过全面掌控千问模型家族、云计算基础设施以及玄铁芯片架构,实现了从底层芯片设计到顶层模型推理的全链条自主可控。这种垂直整合的能力,意味着未来的模型算子能够根据硬件特性进行深度重新设计,后续芯片也能直接依据生产环境中的实际数据定制专用指令集,为AI基础设施的多元化发展开辟了全新的道路。
来源:Heooo AI工具导航