技术进展

谷歌Gemma 4引入E2B架构,手机本地跑AI质变

Heooo 06月04日03时00分 1 阅读

「谷歌发布Gemma 4开源大模型,引入E2B参数卸载架构,使50亿参数模型仅需2GB显存即可在手机等端侧设备实现极速推理。」

谷歌近日正式发布Gemma 4系列开源大模型,其最引人瞩目的技术突破在于全新的E2B(参数卸载)架构。这一底层架构的创新,有望彻底改变大模型在端侧设备的部署格局。

在传统的Transformer架构中,庞大的嵌入层往往会占用海量显存,成为移动端部署的瓶颈。而Gemma 4的E2B架构巧妙地在每一层中加入了嵌入表,利用查找表机制代替了繁重的全矩阵乘法计算。以其中一款50亿参数的模型为例,在E2B架构的加持下,实际需要加载到GPU显存中的有效参数仅为20亿,其余30亿参数可以安全地卸载到CPU甚至磁盘中。这意味着该模型仅需2GB显存便能实现极速推理,彻底突破了智能手机、树莓派等端侧设备的部署瓶颈。

在多模态与核心体验层面,Gemma 4承袭了与Gemini 3相同的研究成果。即使是2B或4B规模的端侧小模型,也已具备出色的多语言(支持140种语言)和多模态理解力,能够轻松驾驭语音识别、语音提问以及30到60秒的短视频分析。尽管目前该模型在知识储备的绝对体量上与大模型仍有差距,且在文本扩散等前沿实验性探索和专家混合模型的微调上仍面临行业公认的挑战,但其展现出的高密度智能已不容小觑。

随着大模型开箱即用能力的增强,垂直领域的开发生态正经历深刻的重构。纯粹的传统微调热度正在逐步退烧,开发者更倾向于直接利用预训练模型的强大能力进行应用创新。Gemma 4的发布,不仅为移动端AI应用提供了新的技术路径,也预示着开源大模型生态将迎来新一轮的快速发展。

# 谷歌 # Gemma 4 # E2B架构 # 端侧AI # 开源模型

来源:Heooo AI工具导航