雷神首款AI移动工作站开售,64GB内存跑120B模型
「雷神首款人工智能移动工作站 AI Master M7000 将于次日上午10时开售,首发到手价1.99万元。该机重2.45kg,搭载AMD锐龙 AI Max+395处理器与64GB内存,预装本地推理引擎 Herdsman,并借助群联 aiDaptiv+ 方案把固态硬盘作为显存延伸,让120B参数大模型在端侧跑起来。」
雷神宣布推出旗下首款人工智能移动工作站 AI Master M7000,并公布其将于次日上午10时正式开售,首发到手价定为1.99万元。这款产品瞄准的是长期困扰开发者的一件事:如何在脱离机房与云端的条件下,让大参数模型在本地顺畅推理。
从硬件配置看,这台机器走的是把数据中心塞进背包的思路。整机重量控制在2.45kg,核心算力由 AMD 锐龙 AI Max+395 处理器提供,搭配64GB内存以及专门为大模型推理准备的AI固态硬盘。屏幕为16英寸2.5K面板,内置99Wh电池,接口方面塞进了 OCuLink、2.5GbE网口和 microSD UHS-II 读卡器,在扩展性上向传统工作站看齐。
真正决定它能否跑动大模型的,是内存与存储之间的调度方案。按照官方信息,该机出厂即预装本地推理引擎 Herdsman(牧马人),用户开机即可进入工作状态,省去环境配置与依赖安装的折腾。而在算力瓶颈的化解上,雷神引入群联的 aiDaptiv+ 方案,其核心思路是把固态硬盘当作显存的延伸:推理过程中需要的权重可以临时从SSD中借出来使用,相当于为原本并不宽裕的内存做了一次动态扩容。
依靠这种借力打力的设计,GPT-OSS-120B 这类千亿参数级别的模型不再必须仰仗专业显卡,消费级内存配置也能支撑起长上下文的吞吐。官方给出的说法是端侧驯服1200亿参数大模型,市售款则提供64GB内存搭配768GB加85GB的AI SSD存储组合。
从应用场景看,该产品同时瞄准内容创作、应用开发、科研计算以及数据本地化要求极高的领域。当大模型推理从云端退回到桌面,再进一步退回到背包,雷神押注的是这样一群用户:他们既希望数据留在本地,又不愿意在模型参数规模上做妥协。
对端侧推理生态而言,这类产品的意义不只是多了一台硬件。把SSD纳入推理的内存层级,实际上给出了一个在有限内存下运行大模型的新解法,它在长上下文场景中的实际吞吐与延迟表现,也将成为衡量移动工作站能否替代小型推理服务器的关键指标。
来源:Heooo AI工具导航