AI科研评估基准：多模型评审系统实证研究

随着人工智能技术的飞速发展，能够自主开展科学研究的AI科学家系统正逐渐从概念走向实践。这类系统有望大幅加速科学发现的进程，然而如何客观、准确地评估这些AI系统所生成论文的质量，始终是困扰研究者的关键难题。近日，一项发表于arXiv的研究提出了一种创新的解决方案：利用前沿大语言模型构建自动化同行评审系统，对AI科学家的产出进行多维度量化评估。

该研究设计了一套严格的基准测试协议，从原创性、科学严谨性、清晰度和重要性四个核心维度对论文进行评判。研究团队选取了当前业界领先的四个AI科学家框架作为评估对象，包括Sakana AI的两个版本、CycleResearcher以及Data-to-Paper。每个框架均在由商业自主AI科学家公司FARS发布的15个研究提案上运行，共生成60篇论文，并与15篇FARS基准论文一同提交评审。

评审环节采用了三个独立的LLM评审模型：GPT-5.4、Gemini和Claude。评估结果显示，FARS基准论文在所有维度上的表现均显著优于其他框架，平均得分在1至5分的量表中达到2.14至2.47分，而其他系统的得分仅为1.00至1.87分。尤其值得注意的是，在Gemini和Claude的评审中，FARS的得分比排名第二的系统高出两倍以上，这一差距凸显了不同AI科学家系统在产出质量上的巨大分化。

研究进一步分析了不同评审模型之间的一致性。结果显示，Gemini和Claude的评分具有高度相关性（斯皮尔曼相关系数ρ=0.907，p<0.001），且两者与综合得分呈现极强正相关（ρ=0.961，p<0.001），这充分验证了自动化评审体系的可靠性和稳定性。然而，GPT-5.4的评审结果与其他两个模型的一致性较弱（ρ≈0.32），表明不同LLM在评审标准上可能存在差异，这为未来优化多模型评审机制提供了重要参考。

这项研究的意义不仅在于首次为AI科学家系统建立了量化基准，更在于证明了多模型LLM评审能够提供可扩展且一致的评估框架。随着AI科研系统的普及，这种自动化评估方法有望成为衡量自主研究质量的标准工具，推动AI科研领域的良性竞争与持续进步。研究团队表示，未来将进一步扩大评估范围，并探索如何利用多模型共识来提升评审的公平性和准确性。