马斯克透露Grok 4.8参数量达2.5万亿
「xAI首席执行官埃隆·马斯克在X平台透露,新一代模型Grok 4.8参数量高达2.5万亿,并采用全新的C++软件栈进行训练。他表示该模型将在本周完成训练并启动强化学习。此前马斯克曾称Grok 4.7于9月12日发布,随后因强化学习长度惩罚过重等问题延期。」
xAI首席执行官埃隆·马斯克在X平台透露,新一代AI模型Grok 4.8的参数量将达到2.5万亿,并使用全新的C++软件栈进行训练。他同时表示,Grok 4.8将在本周完成训练,并随即启动强化学习(RL)阶段。这一消息让外界对xAI下一代旗舰模型的规模与技术路线有了更具体的认知。
2.5万亿参数量是此次披露中最受关注的数据。在同类大模型中,参数量往往直接关系到模型的知识容量与推理潜力,而如此量级的模型对训练框架、显存调度与通信效率都提出了极高要求。马斯克特别提到Grok 4.8使用全新的C++软件栈训练,这意味着xAI在训练基础设施层面进行了一次较为彻底的替换或重构,而非在既有技术栈上简单扩容。
训练完成与启动强化学习属于两个不同阶段。马斯克所说的本周完成训练,指的是预训练环节告一段落,接下来模型将进入强化学习阶段,通过奖励机制优化回答质量与复杂任务完成能力。对于追求推理表现与多步骤任务能力的模型而言,强化学习阶段的调优往往决定了最终体验的上限。
值得注意的是,xAI上一代模型的发布节奏并不完全顺利。马斯克此前曾表示Grok 4.7将于9月12日发布,随后又称该模型可能需要再过几天才能正式推出。据IT之家了解,延期的原因可能与强化学习设置有关,回复长度惩罚过重会让模型倾向于过早放弃困难任务,同时也不利于它严谨检查自己的工作。这一细节从侧面反映出,强化学习中的奖励设计对模型行为有着直接而敏感的影响。
从Grok 4.7到Grok 4.8,版本号的快速推进以及2.5万亿参数量的公开,显示出xAI在大模型竞争中持续加码的姿态。全新C++软件栈能否在训练效率与稳定性上带来实际收益,强化学习阶段的调整又能否解决此前暴露的问题,都将在此后的模型表现中得到检验。
来源:Heooo AI工具导航