OpenAI自研推理芯片性能首秀
「OpenAI发布首款自研AI推理芯片Jalapeño,采用3nm制程与脉动阵列架构。基于InferenceX基准测试,在GPT-OSS、DeepSeek R1和Kimi K2.5模型上,其每瓦吞吐量较GB200/GB300提升1.5至1.9倍,端到端延迟大幅降低。该芯片仅内部使用,计划2026年底前小规模部署。」
OpenAI本周首次对外展示了其自研AI推理芯片Jalapeño的性能数据。这款芯片由OpenAI与博通合作开发,台积电采用3nm制程代工制造,定位为一颗专用集成电路(ASIC),采用systolic array(脉动阵列)架构并配备HBM高带宽内存。与通用GPU不同,Jalapeño专为大语言模型推理场景设计,不涉及模型训练,且芯片及配套服务器系统均不会对外销售,仅供OpenAI内部部署,旨在降低自身对GPU采购和算力运营的长期依赖。
在官方公布的测试结果中,OpenAI使用了半导体研究公司SemiAnalysis开发的公共基准测试工具InferenceX,并选取了GPT-OSS 120B、DeepSeek R1 670B以及Kimi K2.5 1T三款具有代表性的模型进行验证。数据显示,Jalapeño在每瓦能够完成的AI吞吐量上,对比英伟达GB200和GB300系统达到了1.5至1.9倍的提升;在端到端延迟方面,其表现约为对比系统的28%至59%。具体来看,运行GPT-OSS 120B时,Jalapeño每千瓦峰值吞吐量比GB200系统高出约1.9倍;在DeepSeek R1上,其每瓦性能比GB300高出约1.7倍;在Kimi K2.5上,这一优势为约1.5倍。
值得注意的是,Jalapeño的额定功率为700瓦,但在测试工作负载期间,其持续功耗保持在550瓦或以下。这意味着在更低的功耗约束下,它依然实现了显著优于现役主流推理系统的能效表现。OpenAI硬件负责人Richard Ho领导了该芯片的研发,他此前在Google工作近九年,是Cloud TPU项目的核心工程师。从架构设计到完成流片,Jalapeño仅耗时约9个月,OpenAI称其为高性能先进半导体领域有史以来最快的ASIC开发周期之一。
OpenAI还透露,其自身的AI模型深度参与了芯片设计流程,帮助加速设计优化。当前第二代Jalapeño芯片已进入后期开发阶段,预计未来数月内完成流片;第三代芯片也已启动概念设计。在部署节奏上,OpenAI计划于2026年年底前小规模引入Jalapeño,并在2027年逐步扩大规模。
需要指出的是,此次性能对比的对象为英伟达GB200和GB300系统,尚未涉及英伟达最新一代Vera Rubin芯片。OpenAI同时强调,英伟达仍是其重要合作伙伴,未来将持续采用多供应商策略,以满足不断膨胀的算力需求。Jalapeño的亮相标志着OpenAI在自研硬件方向上迈出了实质性一步,也为AI推理芯片市场带来了新的竞争变量。
来源:Heooo AI工具导航