技术进展

deepin 25适配K3芯片实现RISC-V大模型本地推理

Heooo 09月17日16时01分 28 阅读

「国产操作系统deepin 25成功适配进迭时空K3芯片,在RISC-V平台上实现离线大模型本地推理。该芯片采用“通用+AI+实时”三域协同架构,提供约60 TOPS原生AI算力,支持300亿参数模型流畅运行。deepin通过工具链升级与系统优化,打通从底层到应用层的完整AI加速链路。」

在开源生态与RISC-V架构快速发展的背景下,国产操作系统deepin迎来了关键性技术突破。近日,deepin-ports SIG(特别兴趣小组)宣布,deepin 25已成功适配进迭时空推出的K3芯片,首次在RISC-V平台实现了离线大模型的本地推理能力。


进迭时空K3是一颗专为AI时代设计的RVA23规范计算平台,其核心亮点在于创新的“通用 + AI + 实时”三域协同架构。芯片内部集成8颗主频高达2.4 GHz的X100通用计算核,整机通用算力约130 KDMIPS;同时配备8颗专用于AI负载的A100计算核,搭载自研矩阵运算扩展(IME)指令集,可提供约60 TOPS的原生AI算力。实测显示,在运行300亿参数规模的大模型时,推理速度稳定超过每秒10 token。此外,K3还包含2颗RT24实时核、3D GPU及视频编码引擎,在15至25瓦典型功耗下兼顾高性能与高能效。


为充分发挥K3芯片的硬件潜力,deepin 25在系统层面进行了深度优化。开发团队不仅持续维护6.18内核分支、u-boot及专属GPU驱动,还创新引入Next仓库作为上层叠加仓库。该仓库全面开启RVA23全局优化,将GCC 15/16、Binutils 2.46、Glibc 2.42、LLVM 21/22等核心工具链升级至原生支持RVA23 Profile,并集成多种汇编级优化的OpenSSL 3.5,为上层软件充分释放硬件指令性能奠定基础。


在本地AI能力构建方面,本次适配打通了从底层工具链到应用层的完整链路。deepin内置的“小U同学”通过deepin-modelhub深度对接RVA23与SpacemiT矩阵运算扩展,可自动调度最优算子;主流模型运行时如llama.cpp所依赖的GGML库也已全面支持SpacemiT指令集,实现向量与矩阵运算的硬件加速。系统能智能地将AI计算任务分发至8个A100核心高效处理。


目前,适配K3芯片的deepin 25 RISC-V体验镜像已在deepin-ports官方镜像列表发布,开发者和开源爱好者可下载刷写。这一成果不仅标志着RISC-V桌面设备真正具备了离线运行大模型的能力,也为国产软硬件生态的协同创新开辟了新路径。

# deepin # RISC-V # 大模型本地推理 # 进迭时空K3 # 开源操作系统

来源:Heooo AI工具导航