多模态智能体实时协作基准测试发布

多模态大模型正越来越多地被部署用于与人类或其他智能体协作完成任务。然而，现有基准测试虽然能评估模型在单一能力上的表现，却很少将时间压力、信息不对称和不完美通信这些真实协作场景中的关键因素结合起来考察。为了填补这一空白，研究团队推出了GPTNT（Game Playing Test for Negotiation and Teamwork），这是一个基于合作视频游戏《Keep Talking and Nobody Explodes》（保持通话，没人爆炸）构建的全新基准测试平台。

在这款游戏中，两名玩家需要协作拆除一枚随机生成的炸弹。一名玩家可以直接看到并操作炸弹，但手中没有拆弹手册；另一名玩家持有完整的拆弹指南，却无法看到炸弹本身。任何一名玩家都无法单独成功：只有通过高效、准确的实时通信，双方才能完成拆弹任务。GPTNT将这一经典的合作场景转化为智能体测试环境，要求两个多模态智能体在倒计时压力下异步行动、实时沟通，从而全面检验它们的协作能力。

GPTNT的设计初衷是区分真正的协作能力与对记忆化解决方案的依赖。为此，基准测试提供了多种配置选项：可以隐藏拆弹手册、隐藏合作伙伴，或两者同时隐藏，从而隔离出模型在当下推导出的信息与它已知的知识。这种设计使得GPTNT不仅能评估模型在理想条件下的表现，还能揭示其在信息缺失、沟通受阻等复杂情况下的适应能力。

研究团队对当前多款主流闭源和开源多模态模型进行了测试，结果令人震惊：没有任何一个模型能够在实时条件下成功拆除哪怕一颗炸弹——而人类玩家可以轻松完成这一任务。通过一系列受控实验，研究人员识别出模型在以下几个关键维度上的严重短板：状态追踪能力不足，无法在动态变化的环境中持续维护对炸弹当前状态的准确认知；在时间压力下的高效行动能力欠缺，模型常常因犹豫或错误决策浪费宝贵时间；歧义处理能力薄弱，当指令或描述存在多种可能解释时，模型难以通过追问或推理消除不确定性；错误恢复机制缺失，一旦出现失误，模型无法有效识别错误并调整策略。

GPTNT的另一大优势在于它直接运行在真实游戏之上。这意味着它可以利用游戏的程序化生成机制，每局游戏都会产生全新的炸弹谜题，避免了模型通过死记硬背来“刷分”的可能性。同时，由于游戏拥有活跃的模组社区，GPTNT可以随着社区开发的新模组不断扩展测试场景，从而保持对模型能力的持续挑战——它不会像某些静态基准那样被一次性解决后就彻底过时。

这项研究为多模态智能体的协作能力评估提供了全新的视角。GPTNT不仅是一个基准测试，更是一个诊断工具，能够帮助研究人员精确定位模型在真实协作场景中的薄弱环节。随着多模态模型越来越多地进入实际应用，理解并提升它们在时间压力、信息不对称条件下的协作表现，将成为推动人工智能迈向更高水平的关键一步。