BayesBench评估大模型多轮推理能力

大语言模型（LLM）在日常应用中常被部署于多轮对话场景，每一轮对话都带来新的信息，理论上应帮助模型降低对环境的认知不确定性。然而，现有评估体系大多聚焦于单轮问答的最终答案正确性，忽视了模型在对话过程中如何逐步更新内部信念这一关键环节。为填补这一空白，来自学术界的研究团队提出了BayesBench——一套专门用于评估LLM在多轮证据积累条件下信念轨迹的基准测试。

BayesBench的设计灵感来源于贝叶斯推理的核心理念：理性智能体应当根据观测到的证据持续更新对未知变量的信念。研究团队构建了三个难度递进的模拟任务，分别测试模型在不同场景下的贝叶斯推理能力。第一个任务是贝叶斯估计（Bayesian estimation），要求模型从序列证据中推断一个未知参数；第二个任务是贝叶斯预测（Bayesian prediction），模型需要将推断出的隐变量信念转化为对结果的预测；第三个任务则是隐框架贝叶斯预测（latent-framed Bayesian prediction），观测数据需通过用户角色框架过滤，模型必须联合推断隐状态与用户角色。

实验覆盖了从3B到70B参数的七种主流LLM。结果显示，随着模型规模的扩大，模型在隐变量推断和证据积累方面的能力显著提升，其信念更新有时能够接近理想贝叶斯后验分布。然而，这些进步并未可靠地传递到下游预测任务中——模型在推断隐结构后，往往无法利用这些信息来理性地更新对目标结果的信念。这一发现揭示了一个关键鸿沟：LLM在理解潜在结构方面有所长进，但在将其转化为可操作的预测性信念时仍存在明显短板。

BayesBench的发布为LLM评估开辟了新维度。传统的单轮准确率指标无法捕捉模型在多轮交互中的动态推理过程，而BayesBench通过模拟真实对话中的证据累积，迫使模型展示其内部信念的演化轨迹。这对于开发更可靠、更可解释的对话系统具有重要意义，尤其是在需要持续学习与适应性决策的应用场景中，如智能客服、医疗咨询或科学实验辅助。

研究团队还公开了BayesBench的代码与数据，方便其他研究者复现实验或扩展评估范围。未来，该基准有望被用于诊断模型在不确定性下的行为模式，并指导训练策略的改进，例如引入贝叶斯损失函数或设计更贴合人类认知的微调方法。总体而言，BayesBench不仅是一次评估工具的创新，更推动了对LLM认知过程本质的深入理解。