十二大模型同台竞技:GPT-5.6与Grok、Claude激战四款应用 封面图
技术进展

十二大模型同台竞技:GPT-5.6与Grok、Claude激战四款应用

Heooo 07月11日05时31分 3 阅读

「近日,一场横跨十二个AI模型的编程对决引发关注。GPT-5.6(Sol、Terra、Luna三档)、Grok 4.5、Claude Opus 4.8、Claude Fable 5、Meta Muse Spark 1.1以及开源模型Qwen 3.7 Plus、DeepSeek V4 Pro等,被要求构建雷神之锤风格光线投射迷宫、3D魔方、计算器和生命游戏四款应用。每个模型执行五次,结果以成本、延迟和成功率公开。GPT在光线投射任务中表现最佳,Grok成为性价比之选,Muse Spark令人惊喜,而Claude在魔方任务中展示出强大3D能力。评测强调非科学结论,所有构建代码公开供开发者自行判断。」

近日,一场规模空前的AI模型编程能力对决在开发者社区引发热议。来自OpenAI的GPT-5.6系列(Sol、Terra、Luna三档)、xAI的Grok 4.5、Anthropic的Claude Opus 4.8和Claude Fable 5、Meta的Muse Spark 1.1,以及开源阵营的Qwen 3.7 Plus、DeepSeek V4 Pro、Kimi K2.6和GLM-5.2,共十二个模型被要求完成相同的四款经典应用构建任务:雷神之锤风格光线投射迷宫、3D魔方(含打乱与还原动画)、计算器和康威生命游戏。每个模型对每项任务执行五次尝试,结果以成功率、成本、延迟以及所有原始构建代码形式公开。

本次评测的发起者表示,此前一次模型对决曾登上Hacker News首页,但收到了大量反馈。因此,在新模型密集发布的背景下,他们重新组织了这场更大规模的测试:不仅增加了模型数量(从少数几个扩展到十二个),还将每次任务的尝试次数从一次提高到五次,以更全面地反映模型性能的波动性。评测者强调,这并非科学结论,而是一组可供开发者自行判断的观察结果。

十二大模型编程对决概览

光线投射迷宫:GPT全面领先,Grok性价比突出

第一项任务是构建一个雷神之锤风格的第一人称光线投射迷宫,支持WASD移动、带深度感的着色墙壁、地板和天花板以及碰撞检测。评测者将“可玩性”定义为能否真正在迷宫中行走、移动和转向。结果显示,GPT系列模型(尤其是Sol档)表现最佳,在所有五次尝试中均成功生成了可玩的迷宫。Grok 4.5虽然成功率略低,但考虑到其定价,被评测者称为“真正可用的替代选择”。Meta的Muse Spark 1.1在部分运行中表现令人惊喜,而Claude系列的表现则低于预期。

光线投射迷宫任务结果对比

3D魔方:Claude逆袭,GPT意外失手

第二项任务是构建一个彩色3D魔方,带有打乱(Scramble)和还原(Solve)按钮,且旋转动画需平滑、无闪烁、无颜色变化。评测者严格统计了“干净还原”的次数。这一轮的结果令人意外:在光线投射任务中表现强势的GPT,在3D魔方任务中却明显落后。而Claude系列则展现了强大的3D能力,尤其是Claude Fable 5,其五次尝试中有多次实现了流畅的动画和准确的还原。评测者分析,这可能与魔方任务对精确的3D矩阵变换和动画时序控制要求更高有关,而Claude在这些细节上处理得更为稳健。

3D魔方任务表现分析

计算器与生命游戏:基础能力考验

第三项是计算器任务,要求构建一个功能完整的图形界面计算器,支持加减乘除、括号和错误处理。第四项是康威生命游戏,需要实现细胞自动机逻辑、网格渲染和步进控制。这两项任务相对基础,但同样暴露了模型间的差异。在计算器任务中,几乎所有模型都能完成基本功能,但在错误处理(如除以零、非法输入)的健壮性上,GPT-5.6和Claude Opus表现更优。生命游戏任务中,Muse Spark和DeepSeek V4 Pro的代码结构最为清晰,而部分开源模型在边界条件处理上出现了逻辑错误。

计算器与生命游戏任务结果

成本与延迟:Sol高端但昂贵,Luna轻量高效

评测还详细记录了每个模型完成五次尝试的总成本和时间。GPT-5.6 Sol档作为旗舰,性能最强但成本也最高;Terra档在性能与成本间取得了平衡;Luna档则定位轻量高效,适合预算敏感的场景。Grok 4.5的定价极具竞争力,使其在光线投射等任务中成为“性价比之王”。开源模型方面,Qwen 3.7 Plus和DeepSeek V4 Pro在成本上具有明显优势,但成功率和代码质量参差不齐。所有模型的五次尝试原始代码均已公开,开发者可以自行运行、对比,形成独立判断。

各模型成本与延迟对比

评测方法论:五次尝试揭示模型波动性

此次评测最值得关注的改进之一,是每个模型对每项任务执行五次尝试。评测者指出,AI模型生成代码时存在显著的“运行间波动”——同一个模型、同一个提示词,五次生成的结果可能大相径庭。有的尝试完全失败,有的则近乎完美。通过公布所有尝试的原始代码,开发者可以直观地看到这种波动性,从而更全面地评估模型的可靠性。例如,Muse Spark在光线投射任务中,五次尝试中有两次成功、三次失败,这种“时好时坏”的特性对于实际开发中的可用性至关重要。

五次尝试揭示模型波动性

开源模型表现:追赶中仍有差距

本次评测特别加入了四款开源模型:GLM-5.2、Qwen 3.7 Plus、DeepSeek V4 Pro和Kimi K2.6,均通过Fireworks平台调用。总体来看,开源模型在简单任务(如计算器)上表现接近闭源模型,但在复杂任务(如3D魔方和光线投射)上仍有明显差距。DeepSeek V4 Pro在生命游戏任务中表现突出,代码逻辑严谨;Qwen 3.7 Plus则在多任务中保持了中等水平的稳定性。评测者认为,开源模型的进步速度很快,但要在高复杂度编程任务中与GPT-5.6 Sol或Claude Fable 5竞争,仍需更多迭代。

这场十二大模型的编程对决,不仅展示了当前AI模型在代码生成能力上的最新水平,也为开发者选择适合自己需求的模型提供了宝贵的参考。所有构建代码和运行记录均已公开,感兴趣的开发者可以自行查阅、运行,形成自己的判断。

# GPT-5.6 # Grok 4.5 # Claude # Muse Spark # AI编程 # 模型对比

来源:Heooo AI工具导航