技术进展

GPT-6 Astra 家具组装识别准确率达80%

Heooo 09月26日20时01分 26 阅读

「Epoch AI 发布家具组装基准测试(FAB)结果,OpenAI GPT-6 Astra 以 80% 准确率居首,Claude Fable 5.1 与 Claude Opus 5 分别为 70% 和 61%,较此前领先模型提升近三倍。该测试用 60 张宜家家具组装照片考察多模态模型的视觉与空间推理能力。」

多模态 AI 在理解现实世界装配过程方面取得明显进展。Epoch AI 于当地时间 9 月 23 日发布了一组家具组装基准测试(Furniture Assembly Benchmark,FAB)结果,显示前沿模型在识别宜家家具组装错误这一任务上进步显著。

FAB 是一项专门评估 AI 理解现实世界装配过程能力的测试,用 60 张宜家家具组装过程照片考察模型的视觉与空间推理能力。测试人员选取三款宜家家具故意错误组装,并拍摄不同阶段的照片,要求 AI 将照片与官方安装说明书进行比对,找出错误位置并说明具体问题。

在测试过程中,AI 不仅会获得组装时的照片,还会同时获得官方 PDF 说明书、图片放大工具以及 Python 解释器,需要判断是否存在错误,并指出具体出错步骤和问题描述。评分采用多阶段验证,只要模型能够正确定位错误步骤并大致说明问题,即可获得相应分数。这项测试并非考察 AI 是否会背诵说明书,而是更接近真实使用场景:用户只需拍摄组装中的家具,AI 便需要判断零件是否装反、安装顺序是否错误,或是否遗漏了关键部件。

结果显示,OpenAI GPT-6 Astra 以 80% 的准确率位居榜首,Anthropic Claude Fable 5.1 和 Claude Opus 5 分别达到 70% 和 61%。相比之下,2025 年 11 月时的领先模型 Claude Opus 4.5 准确率仅为 28%,意味着前沿模型在约 10 个月内实现了显著提升,提升幅度接近三倍。

除了准确率,GPT-6 Astra 的推理效率也明显改善。其完成单张照片分析的中位耗时约为 3 分钟,是研究中速度最快的模型,比此前领先模型快约 2 至 10 倍。不过研究团队认为,这一速度距离真正意义上的实时识别仍有一定差距。

研究还分析了不同模型的失败模式。例如,谷歌 Gemini 和阿里 Qwen 系列模型几乎总是先假设存在错误再去找错误;而早期 Anthropic 和 OpenAI 模型则相反,经常完全找不到错误。研究者认为,不同家具对模型难度的影响与宜家复杂度指数无明显关联,错误隐蔽性、拍摄视角及错误后继续组装的程度影响更大。

在中国模型中,目前表现最好的开源权重模型 Kimi K3 相比国际前沿模型约落后 7 个月,这一差距比其在综合能力评估中的约 4.4 个月差距更大。研究认为,视觉推理能力仍是当前部分中国模型相对薄弱的方向,而 DeepSeek V4 Pro、GLM 5.3 等热门模型暂未提供图像支持。

Epoch AI 认为,这类任务结合了图像理解、空间推理以及多步骤指令匹配能力,因此能够较好反映多模态模型处理现实问题的水平。研究团队还指出,这类能力与汽车维修、家电检修等需要结合图像和技术说明进行判断的任务具有较高相关性,因此具有一定实际应用价值。随着相关能力提升,未来 AI 有望在家具组装、设备安装、维修指导等场景中提供更具针对性的实时辅助。

# 多模态AI # GPT-6 Astra # 基准测试 # 视觉推理

来源:Heooo AI工具导航