外接AI硬件让32GB内存跑百亿参数模型
「群联旗下日本存储企业Nextorage宣布将推出名为aiDAPTIV Station的外接式AI加速硬件,通过USB-C接口连接,让仅配备32GB内存的AI笔记本电脑也能运行GPT-OSS-120B等百亿参数大模型。该设备基于群联aiDAPTIV技术,实现本机DRAM与外接高耐久NAND存储间的动态资源调配,从而在实际上扩充内存。Nextorage目标今年内在日本市场推出该产品,并规划配套的预构建软件包方案,支持Windows和Ubuntu系统。」
大型语言模型的本地部署一直面临内存瓶颈,尤其是参数量超过百亿的模型,如GPT-OSS-120B,通常需要远超32GB的内存才能流畅运行。Nextorage即将推出的aiDAPTIV Station外接硬件,正是为解决这一痛点而生。该设备采用便携式设计,通过USB-C接口与AI笔记本电脑连接,利用群联的aiDAPTIV技术方案,实现本机DRAM与外接高耐久NAND存储介质间的动态资源调配,从而在实际上扩充内存容量。
从技术原理看,aiDAPTIV Station并非简单增加物理内存,而是通过智能调度算法,将模型运行中不常访问的数据暂存到外接的高耐久NAND存储中,当需要时再快速调回DRAM。这种类似虚拟内存的机制,结合高带宽的USB-C接口,使得32GB内存的笔记本也能承载120B参数级别的模型推理任务。Nextorage表示,该设备不仅支持Windows操作系统,也兼容Linux的Ubuntu发行版,覆盖了主流AI开发环境。
在产品规划上,Nextorage目标今年内面向日本市场率先推出aiDAPTIV Station,并同步提供配套的预构建软件包方案。这意味着用户无需手动配置复杂的模型加载和内存管理脚本,开箱即可在本地运行大型模型。对于AI开发者和研究者而言,这种外接硬件方案降低了本地部署大模型的门槛,无需升级整台设备的内存或购买昂贵的高端工作站,仅通过一个外设即可扩展能力。
从行业视角看,aiDAPTIV Station的推出反映了AI硬件生态的细分趋势。一方面,云服务商持续提供大规模模型API,另一方面,本地化、低成本的推理方案也在快速发展。Nextorage通过存储技术切入AI加速领域,将高耐久NAND与动态资源调度结合,为笔记本电脑等便携设备赋予了运行大模型的可能性。尽管初期面向日本市场,但这一技术路径若验证可行,有望推动更多厂商探索外接式AI加速硬件的设计与应用。
来源:Heooo AI工具导航