IBM为Together AI部署HGX B300推理集群

IBM日前宣布与AI原生云平台Together AI达成一项多年期合作协议，合同金额高达2.4亿美元，约合人民币16.22亿元。根据协议，IBM将在其IBM Cloud中部署一个基于NVIDIA HGX B300的算力集群，专门用于支持Together AI的开源模型推理服务。该系统预计将于2027年第一季度正式投入使用。

此次部署被IBM称为“首个基于IBM Cloud并采用NVIDIA HGX B300系统与Spectrum-X以太网技术构建的专用于推理的大规模集群”。这意味着该集群并非面向通用计算或训练任务，而是聚焦于高吞吐、低延迟的推理场景，为开源大模型在生产环境中的大规模应用提供基础设施支撑。

Together AI首席执行官Vipul Ved Prakash在声明中表示，企业用户既希望获得最先进的模型性能，又不愿承担封闭模型的高昂成本，而这只有在底层基础设施足够快速、可靠且能够大规模部署的情况下才能实现。此次与IBM和NVIDIA的合作，为Together AI奠定了这样的基础。该集群将帮助Together AI更快地为更多公司提供生产级推理能力，也是其推动开源AI成为企业首选的重要一步。

从市场背景来看，Together AI近期以83亿美元的估值完成了8亿美元的C轮融资，显示出资本市场对其开源AI路线的高度认可。该公司目前月处理词元能力已达400T，具备相当规模的推理负载。随着HGX B300集群的落地，Together AI有望进一步提升其平台的服务容量和性能表现，满足企业客户对开源模型推理日益增长的需求。

对于IBM而言，这笔合同不仅巩固了其在AI云服务领域的布局，也展示了IBM Cloud在承载大规模GPU集群方面的能力。通过与NVIDIA硬件和网络技术的深度集成，IBM Cloud正在向AI推理这一高价值场景延伸，为开源生态提供更坚实的技术底座。这一合作也反映出AI基础设施市场正从通用计算向专用推理集群演进，硬件与云平台的协同优化将成为未来竞争的关键。