字节筹划5万亿参数大模型冲击顶尖智商 封面图
行业资讯

字节筹划5万亿参数大模型冲击顶尖智商

Heooo 08月07日13时34分 16 阅读

「字节跳动正讨论训练超5万亿参数大模型,规模将达国内已知最大。训练需百万显卡级算力,豆包能力有望对标GPT-5.6或Opus5级别,但投入巨大,商业回报成悬念。」

国产大模型的参数规模正在从万亿级别继续上探。继Qwen3.8Max与Kimi K3分别将参数规模推至2.4万亿和2.8万亿后,行业下一站直指5万亿。这一次,率先行动的可能是字节跳动。

据晚点LatePost报道,字节正在讨论训练一个超过5万亿参数的大模型,若落地将成为国内已知规模最大的模型。不过该计划仍处于早期阶段,最终不一定会正式发布。

5万亿参数是什么量级?它被视为GPT-5.6或Opus5级别。通常参数量越大,模型性能越强,OpenAI与Anthropic正是依靠更高参数量维持领先——消息称这两家内部已在训练甚至完成10万亿参数大模型的准备。但超高参数也意味着超乎寻常的算力投入。

字节筹划5万亿参数大模型冲击顶尖智商

以H100为基准算账,训练一个5万亿参数大模型需要10万颗H100连续运行347天,或者动用100万张显卡跑35天。百万卡级别已经跨进GW级算力规模,门槛极高。字节不太可能一次性投入如此庞大的算力,更合理的路径是用20万到30万张显卡训练3到4个月,再叠加数据准备和后训练等环节,整体周期至少半年,甚至一年之后才可能成型。

从算力储备来看,目前最充裕的仍是OpenAI,SemiAnalysis测算其握有约200万张显卡;Anthropic约62万张;DeepSeek只有约6万张,且不少还是相对落后的H20与H800。以字节的财力,为5万亿参数大模型提供足够算力并非难事。

一旦模型成功,豆包的能力做到GPT-5.6或Opus5级别几乎没有悬念,智商得以真正拉满,不再被网友调侃。不过,这笔天文数字的投入能否在落地端换来对等的商业回报,仍是唯一的悬念。行业正注视着字节这一大步,也注视着大模型竞赛中算力与收益的天平将如何摆动。

# 字节跳动 # 5万亿参数 # 大模型 # 算力 # 豆包

来源:Heooo AI工具导航