新基准测试揭示AI长时任务短板

人工智能代理在完成短周期、目标明确的简单任务方面已展现出显著能力，但评估其执行复杂、耗时任务的基准测试却相对匮乏。现有终端基准大多聚焦于几分钟内可完成的问题，且仅依据最终结果进行评价，忽略了代理在过程中的中间进展和部分解决方案，导致奖励信号稀疏，无法全面反映代理的真实能力。为填补这一空白，研究人员推出了Long-Horizon-Terminal-Bench，一个专门针对长时终端任务的基准测试，旨在更深入地评估AI代理在长时间、多步骤工作流中的表现。

Long-Horizon-Terminal-Bench包含46项精心设计的任务，横跨九个类别，包括实验复现、软件工程、多模态分析、交互式游戏以及科学计算等。每个任务都遵循终端基准的设定，配有参考解决方案或模拟引擎，但与传统基准不同，这些任务被进一步分解为细粒度的、带有评分的子任务。这种设计使得评估系统能够提供密集的中间奖励和部分信用评分，从而不仅考察代理是否最终达成目标，还能衡量其在开放式工作流中的进展程度。例如，在软件工程任务中，代理可能需要逐步完成代码编写、调试、测试和文档生成等多个子任务，每个子步骤都能获得相应的评分反馈。

该基准测试的任务通常需要数百个回合（episodes）的执行，耗时从几分钟到数小时不等，对代理的长时规划能力、长上下文管理能力以及迭代调试能力提出了严峻挑战，而非仅仅考验一次性解决问题的能力。研究人员对15个前沿模型进行了全面评估，结果显示，代理平均每个任务消耗990万个令牌（tokens），执行约231个回合，平均运行时间为85.3分钟。这一数据使Long-Horizon-Terminal-Bench成为比以往任何终端基准都更为严苛的测试平台。

评估结果揭示了当前模型在长时任务中的显著局限性。即使是最强大的测试模型，在部分奖励阈值（0.95）下的单次通过率（pass@1）也仅为15.2%，而在完美奖励阈值（1.0）下更是骤降至10.9%。所有模型的平均通过率在两种阈值下分别仅为4.3%和1.7%。这些数字清晰表明，尽管AI在短时任务中表现出色，但在面对需要长时间规划、多步推理和持续上下文跟踪的复杂任务时，其能力仍存在巨大缺口。

研究团队进一步分析了模型的失败模式和错误类型，发现代理在长时任务中常见的失败原因包括：上下文窗口溢出导致早期信息丢失、规划策略无法适应任务动态变化、以及在长时间执行过程中出现决策漂移等。这些发现为未来改进AI代理的鲁棒性和持久性提供了重要方向。目前，Long-Horizon-Terminal-Bench已向研究社区开放，旨在推动长时终端代理领域的进步，激励开发出能够更有效处理复杂、长时间工作流的AI系统。