战斗式评审平台评估文献综述代理性能

文献综述是科学进步的重要基石，然而如何严格评估自动生成的综述质量始终是学界难题。传统方法常依赖参考重叠等自动指标，但科研实际效用中的许多维度必须依靠专家判断。为填补这一空白，研究团队在最新论文中提出了LitReview Arena——一个采用战斗式评审模式的文献综述代理评估平台。

LitReview Arena构建了一套面向文献综述质量的结构化评估协议。具备AI论文写作经验的领域专家会根据自身专长匹配评审主题，对匿名化的综述草稿进行逐项比较，并围绕五个专门设计的文献综述评价标准给出分维度结论。该设计旨在模拟真实的学术评审过程，从而更全面地捕捉综述在结构组织、研究建议、信息综合等方面的表现。

研究团队通过该平台收集了约三千条专家评审数据，每条数据包含五个维度的评价结果。实验结果表明，即便目前最强的自动化系统，在与人类撰写的文献综述草稿进行整体效用对决时，也只能赢得23%的关键性对局。这一数据直观说明，自动文献综述在实用性层面仍与人类水平存在显著差距。与此同时，以Sonar Deep Research为代表的智能体大语言模型则展现出明显优势，整体表现较基础语言模型提升超过60%。

值得注意的是，研究还揭示了当前常用的LLM作为评判者的评估范式与人类专家之间存在系统性偏差。在整体效用维度上，自动评判与专家判断的斯皮尔曼相关系数仅为0.467，尤其在论文结构、研究建议这类高度依赖综合判断的维度上，偏差更为明显。这说明仅依赖大模型自评可能无法准确反映文献综述的真实质量。

为解决这一问题，团队基于收集到的专家偏好数据，训练了专家校准评估器LitJudge。与人类专家的对齐程度提升至0.78，这一水平已接近不同人类专家之间的一致性。这意味着LitJudge能在较大程度上模拟专家的评估标准，为后续文献综述系统的迭代提供更可靠的自动评价手段。相关代码与数据已公开，供研究社区使用。

LitReview Arena的出现，为文献综述代理的评估与优化提供了新的基础设施。通过战斗式评审与专家校准的结合，它有望推动自动科研工具向更具实用性、更符合学术标准的方向演进。