LLM评审员评估专利撰写智能体的可靠性

大模型评审员（LLM Judge）正在被越来越多地用于评估和改进AI生成的输出，但在专利撰写这类高度复杂的专业工作中，它们的可靠性仍然缺乏清晰结论。一篇发表于arXiv、归类于人工智能方向的论文围绕这一问题展开研究，提出了名为Vibe Patenting的端到端专利撰写测试床，专门用于评估专利撰写类AI智能体的表现。

Vibe Patenting的核心设计思路是把评审环节独立出来。系统会单独调用一个LLM评审员，对撰写智能体生成的专利草稿进行评价，并输出结构化的反馈意见，这些反馈随后被用于对草稿进行迭代修订。与一次性生成后直接交付的方式不同，这套流程把评审员变成了贯穿撰写过程的持续信号，让撰写智能体能够依据具体批评意见反复打磨文本。

研究团队在多个不同发明主题和多种撰写智能体配置下进行了对比实验，结果呈现出较为一致的规律：由评审员引导的迭代修订能够持续提升经过评审员评估的草稿质量，而没有引导信号的反复修订则往往很快趋于饱和，难以带来进一步改善。这一对比说明，评审反馈的价值并不只在于指出错误，更在于为修订过程提供明确的方向与增量信息。

实验结果中一项更受关注的发现与成本结构有关。迭代的评审反馈可以让一个推理能力较弱的智能体，逐步逼近一个成本高出许多的高推理能力智能体的表现水平。换言之，把计算预算从单次高成本推理转移到多轮带反馈的修订上，在专利撰写这类任务中可能是一种更经济的路径。此外，研究也观察到更强大的模型以及更高的推理投入通常会改善评审员所评估的撰写质量，而领域特定的智能体工作流能够在此基础上带来进一步提升，说明通用能力与专业流程设计之间存在互补关系。

为了检验评审员本身是否可信，论文将LLM评审员的评分与一位专业专利律师的独立评估进行了对照。结果显示，两者之间的一致性是有意义的，但这种一致性的强弱高度依赖于所采用的具体评价指标；同时还存在系统性的校准差异，即评审员在评分尺度上与人类专家并不完全对齐。这意味着评审员的绝对分数不应被直接当作专业质量的等价物，其相对排序在部分指标上更具参考价值。

论文最终强调，这些结果同时揭示了LLM评审员的两面性：一方面，它们可以作为复杂专业工作流中的有效评估器和优化信号，推动生成质量持续上升；另一方面，其局限也同样真实，包括对指标的敏感性以及与人类专家之间的校准偏差。对于正在构建专利撰写、法律文书、技术报告等专业智能体的开发者而言，这项研究提示了一条务实路线，即在流程中引入独立的评审环节与迭代修订机制，同时保留外部的人类专业校验作为基准，而不是把模型评审的分数当作最终答案。