OpenAI发布Jalapeño芯片，推理性能显著领先

在近日举行的Hot Chips大会上，人工智能巨头OpenAI首次披露了其自研推理芯片Jalapeño的详细技术细节与性能基准数据。这款芯片专为大规模、高效率的AI推理任务而设计，初步测试结果展现出对现有顶级推理硬件的显著优势。

根据Semianalysis推出的InferenceX基准测试，Jalapeño在两个关键指标上表现突出：一是单位用户可生成的令牌（tokens）数量更多，二是每千瓦电力所能提供的推理吞吐量更高。OpenAI硬件负责人Richard Ho在媒体电话会上表示：“这些结果表明，Jalapeño相较当前最先进的技术实现了非常、非常显著的性能飞跃。它不仅能在单位功耗下处理更多AI工作负载，还能更快地返回响应，兼具高吞吐与低延迟特性。”

值得注意的是，此次对比对象是英伟达最新的Blackwell系统。尽管如此，OpenAI预计Jalapeño将在2026年底以极小规模开始部署，并于2027年实现更大规模应用。届时，竞争对手可能已推出新一代产品，但OpenAI显然希望通过软硬协同的全栈优化建立长期技术壁垒。

Jalapeño项目最早于2025年10月对外公布，由OpenAI与半导体巨头博通（Broadcom）紧密合作开发。更特别的是，OpenAI在芯片设计过程中直接调用了自家的大模型能力，用于辅助架构探索与性能预测，体现了“AI for AI”的研发范式。

OpenAI强调，Jalapeño并非一次性产品，而是作为多代演进平台的一部分，未来将与AI模型、内存系统及网络架构同步迭代。这种全栈整合策略使其能够精准定位推理流程中的瓶颈环节。公司指出，在典型的生成式AI推理中，“预填充”（prefill）和“通信”阶段往往是性能拖累的关键点——前者涉及处理用户输入提示词，后者则关乎多个计算单元间的数据同步。

为此，Jalapeño被专门设计为最小化数据移动和通信延迟。OpenAI在官方博客中解释：“模型状态（包括生成响应时使用的KV缓存）可以被显式地放置并保留在本地，系统会根据每个推理阶段的需求，动态激活最合适的计算、内存和网络资源组合。”这种细粒度的资源调度能力，使得芯片在处理不同规模和类型的请求时都能保持高效。

随着大模型推理成本成为行业关注焦点，Jalapeño所代表的定制化、高能效推理芯片路径，或将成为头部AI公司构建基础设施护城河的关键一环。OpenAI此举不仅意在降低运营成本，更旨在掌控从算法到硬件的完整技术栈，从而在未来AI竞争中占据主动。