美光研发近GPU NAND闪存扩展AI模型规模

据外媒报道，美光正在探索一项名为“近GPU NAND”的新型存储方案。与传统将NAND闪存通过多层协议连接到距GPU较远的存储池不同，美光计划将高耐久性NAND闪存模块直接部署在离GPU更近的位置，以缩短数据通路并提升访问效率。

这一方案的核心思路，是在存储密度与耐久性之间寻找一种折中设计。与传统的TLC或QLC NAND相比，这类近GPU NAND芯片的存储密度会相对更低，但其重点并非容量，而是提升I/O速度与带宽。它可以直接放置在GPU封装内部或PCB上，工作方式类似于HBM或GDDR7，让GPU能够直接访问数百GB规模的NAND存储池。

从存储层级来看，近GPU NAND位于显存与普通存储之间，可充当一个高速缓冲层。对于那些非低延迟、非高带宽要求的工作负载，该存储层能够有效缓解显存容量不足的瓶颈。尤其是在运行更大规模的AI大语言模型时，LLM推理不再完全受限于显存容量，可通过这一中间层实现更大模型的加载与推理。

美光此前的产品布局主要聚焦于HBM、GDDR等高速存储，而此次探索近GPU NAND，反映出AI基础设施对存储架构的新需求。随着模型规模持续扩大，单纯依赖显存扩展成本高昂，近GPU NAND有望成为一种兼顾性能与成本的选择。不过，该技术目前仍处于研究阶段，距离正式商用尚有距离。