AI自主导演音乐视频：Claude与GPT对决

在AI技术快速发展的今天，模型的能力边界正在不断被拓展。一项最新的实验将Claude Fable 5和GPT-5.6 Sol置于一个前所未有的挑战中：给定一首歌曲、一个预算和一系列工具，让它们自主导演并制作一支完整的音乐视频。这项实验不仅测试了模型的创作能力，更揭示了它们在工具使用、资源分配和策略选择上的差异。

实验的核心是一个自主代理框架，该框架赋予模型六种工具：计划工具用于思考、网络搜索工具用于研究视频生成模型及其API、预算查询工具用于检查剩余预算、图像生成和视频生成工具（这是唯一消耗预算的工具）、以及本地shell命令工具（配备ffmpeg/ffprobe）用于分析音频、剪辑和拼接视频。模型需要自行研究、生成素材、观看自己的作品，并使用ffmpeg进行编辑，最终完成一部完整的音乐视频。

实验选用了Bruno Mars和Mark Ronson的歌曲“Uptown Funk”，并为每个模型提供了相同的歌词时间戳转录和简短的文本描述。Claude Fable 5和GPT-5.6 Sol分别在$25和$100预算下各运行一次，共计四次运行。所有四次运行均自主完成，没有达到步骤或时间限制，并且都生成了有效的全长视频，将原始歌曲混入其中。

在预算使用方面，$25预算下两个模型几乎都将其耗尽。而在$100预算下，GPT-5.6 Sol花费了$36.57，Claude Fable 5花费了$48.60，这表明更高的预算确实带来了更多的素材生成。值得注意的是，这些费用仅包括视频生成模型的成本，不包括运行AI模型本身的开销。

在工具选择上，模型展现出了不同的策略。四次运行中有三次完全采用文本到视频的生成方式。只有GPT-5.6 Sol在$25预算下使用了图像到视频的管线，即先生成静态图像，再将其动画化。而在$100预算下，GPT-5.6 Sol在同一运行中混合使用了三种不同的视频模型。这种策略差异反映了模型在面对开放任务时的决策多样性。

实验还记录了每个模型在工具调用过程中的详细日志，包括每条模型消息、工具调用、费用和错误。这些日志为理解模型如何自主决策提供了宝贵的洞察。例如，模型需要自行研究哪些视频模型可用、如何调用其API、以及如何根据预算调整生成策略。

该实验的整个工具链已开源在GitHub上，任何人都可以自行运行。这不仅为AI研究社区提供了一个可复现的实验框架，也为探索AI在创意领域的应用提供了新的思路。从技术角度看，这项实验展示了前沿模型在长时间、开放任务中的自主能力，尤其是在工具使用和资源管理方面的表现。

随着AI模型能力的不断提升，类似自主创作的任务将变得越来越普遍。这项实验为理解模型在复杂、多步骤任务中的行为提供了重要参考，也为未来AI在视频制作、内容创作等领域的应用奠定了基础。