技术进展

MLPerf 6.1发布:AMD与英伟达刷新AI推理纪录

Heooo 09月17日17时02分 34 阅读

「MLPerf Inference v6.1基准测试结果公布,AMD凭借512颗MI355X GPU创下290万tokens/s离线吞吐新高,英伟达则首次携Vera Rubin VR200亮相,并在72 GPU配置下性能超越GB300达95%。」

近日,由MLCommons维护的权威AI推理基准测试套件MLPerf Inference正式发布v6.1版本,聚焦于AI推理吞吐量、扩展效率及多GPU配置下的实际表现。本次更新吸引了AMD与英伟达等头部厂商提交最新成果,展现出当前AI硬件生态的激烈竞争与技术进步。


AMD在此次测试中表现亮眼,其使用512颗Instinct MI355X GPU组成的系统在DeepSeek R1模型下创造了历史最佳成绩:离线场景(侧重批量处理能力)达到2,901,950 tokens/秒,服务器场景(模拟在线服务响应)亦高达2,405,310 tokens/秒。这一成绩不仅刷新了MLPerf纪录,也成为AMD迄今为止规模最大的一次基准提交,凸显其在大规模AI推理部署中的软硬件协同能力与可复现性。


与此同时,英伟达也提交了基于GB300和GB200平台的288 GPU配置数据,其中GB300在离线和服务器场景分别录得2,705,130 tokens/秒和2,028,030 tokens/秒。尽管与AMD的配置规模不同,直接对比需谨慎,但数据仍反映出双方在高端AI加速器领域的持续角力。


更引人注目的是,英伟达全新Vera Rubin VR200加速器首次现身MLPerf推理榜单。在72 GPU配置下,VR200的性能比同规模GB300高出95%;即便是仅用36颗VR200 GPU的配置,其表现也优于72颗GB200组成的系统。这一结果预示着Vera Rubin架构在能效比与单卡性能上的显著提升,或将成为下一代AI推理基础设施的重要选项。

# MLPerf # AMD # 英伟达 # AI推理 # 基准测试

来源:Heooo AI工具导航