OpenAI自研推理芯片Jalapeño挑战GB300

OpenAI在Hot Chips大会上正式公布了与博通联合研发的推理芯片Jalapeño的更多细节，并首次披露了基于第三方平台的基准测试成绩。在SemiAnalysis的InferenceX测试中，Jalapeño无论从单用户token处理量还是每千瓦吞吐量来看，均超过了当前市面上最顶尖的推理处理器，直接对标英伟达的GB200和GB300超级芯片系统。

OpenAI硬件负责人理查德·何在媒体电话会上表示，测试结果最重要的意义在于，Jalapeño相比目前最先进的产品实现了非常显著的性能提升。它可以用相同的电力处理更多AI工作负载，同时更快给出响应。他指出，Jalapeño既适合高效服务大量用户，也能保持很低的延迟，这种特性对于大规模AI推理场景尤为关键。

Jalapeño由OpenAI与博通共同开发，OpenAI自有模型也深度参与了研发过程。OpenAI希望将Jalapeño发展成一个能够延续多代的技术平台，使AI产品、模型、芯片和内存从一开始就协同设计。这款芯片主要负责AI推理任务，即让已经训练好的AI模型真正运行起来，完成各种任务或驱动AI智能体。

在具体的性能对比中，OpenAI使用InferenceX平台测试Jalapeño的推理性能，并与英伟达GB200和GB300系统进行比较。测试覆盖了GPT-OSS 120B、DeepSeek R1和Kimi K2.5 1T三个模型。结果显示，Jalapeño每瓦能够完成的AI工作量是对比系统的1.5至1.9倍，端到端延迟则约为对比系统的28%至59%，优势十分明显。

全栈协同开发让OpenAI能够直接优化推理过程中最容易拖慢速度的环节。Jalapeño重点降低了预填充和通信阶段的延迟，而这两个环节在OpenAI看来往往是推理性能的主要瓶颈。OpenAI在公布测试结果的博客文章中提到，Jalapeño从设计之初就尽量减少数据搬运和通信延迟。生成响应时使用的KV缓存等模型状态可以明确存放并保留在本地，系统再根据不同推理阶段，调配合适的计算、内存和网络资源。

据IT之家了解，OpenAI计划在今年年底前先小规模部署Jalapeño，2027年再逐步扩大部署量，但并未公布明年具体会投入多少芯片。这一部署节奏显示出OpenAI在自研芯片领域的长远布局，也预示着AI推理硬件市场的竞争将更加激烈。