技术进展

华为昇腾原生适配蚂蚁百灵新模型

Heooo 08月06日23时33分 34 阅读

「蚂蚁百灵开源Ling-3.0-flash混合推理模型后,华为昇腾完成0 Day适配,并首次引入CANN PyPTO算子编程框架。该框架基于虚拟指令集构建Tile编程范式,配合CANNBot PyPTO Agent实现算子开发全流程自动化,显著缩短交付周期,全面兼容A2、A3系列产品。」

蚂蚁百灵近日正式开源新一代原生混合推理模型Ling-3.0-flash,该模型主打极致智能密度、全链路Agent闭环与低成本规模化落地。几乎在同一时间,华为官方宣布昇腾已完成对该模型的0 Day适配,即在模型发布当天即同步支持,体现了昇腾生态对前沿模型的快速响应能力。

本次适配过程中,华为首次引入全新算子编程框架CANN PyPTO。该框架基于PTO ISA(虚拟指令集)构建Tile编程范式,开发者只需通过Tensor级API精准定义计算逻辑,框架即可自动完成分片调度、数据搬运与代码生成全流程工作。这一设计大幅降低了算子开发门槛,将底层硬件细节封装在框架层,使开发者能够更专注于算法表达。

值得注意的是,CANN PyPTO配套的CANNBot PyPTO Agent构建了多智能体框架,将整个算子开发过程分解为7个阶段(Stage)自动推进。每个阶段由职责明确的子智能体协同执行,所有调度由统一编排器pypto-op-orchestrator负责。子智能体之间通过记忆机制与机器可读状态进行信息交换,确保上下文无缝传递,从自然语言算子需求输入开始,历经自动生成、验证与调优,直至产出精度达标、性能优化完成的可上板算子,全程无需人工介入各阶段交接。

这种自动化的算子开发工作流不仅提升了编程体验,更显著缩短了复杂融合算子的交付周期。对于需要快速适配新模型的场景,CANN PyPTO能够高效完成算子接入与推理框架性能调优,并同步开放完整部署工程。

在硬件兼容性方面,本次适配全面兼容昇腾A2、A3系列产品。开发者可通过官方镜像快速拉起推理服务,具体硬件要求为:昇腾A2系列产品需8卡,昇腾A3系列产品需4卡。华为此次0 Day支持百灵Ling-3.0-flash,不仅展现了昇腾生态的开放性与工具链成熟度,也为后续更多模型的高效落地提供了可复用的技术范式。

# 华为昇腾 # 蚂蚁百灵 # CANN PyPTO

来源:Heooo AI工具导航