提示格式扰动显著影响大模型评测结果

在大型语言模型（LLM）的评测与基准测试中，一个看似微不足道的细节——提示的格式——可能正在悄然改变整个排行榜的结论。来自arXiv的最新研究论文《Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking》系统性地探讨了这一现象，并提出了量化评估方法。

该研究由来自学术界的研究团队完成，他们发现，当使用不同的提示包装器（Prompt Wrapper）——即在原始问题前后添加不同格式的指令或标记——时，同一模型在相同任务上的准确率可能发生显著变化，这种变化甚至足以翻转不同模型在排行榜上的相对排名。为了量化这种影响，研究者引入了两个互补指标：格式敏感指数（FSI）和可解析性敏感指数（PSI）。FSI衡量的是由包装器选择所导致的准确率波动范围，而PSI则衡量答案可解析性的相应波动范围。

研究团队在OpenRouter平台上进行了大规模的实验，生成了超过14万次模型调用。实验覆盖了7个不同的问答（QA）任务，使用了5种不同的提示包装器家族，并测试了4种指令微调模型，参数规模从7B到72B不等。实验结果表明，不同模型对格式变化的敏感度差异巨大：模型间的平均FSI差异超过30倍。进一步分析发现，这种巨大差异在很大程度上可以由格式合规失败来解释。所谓格式合规失败，是指模型未能按照提示中指定的格式（例如JSON、列表或特定分隔符）生成答案，导致解析器无法正确提取结果。

为了更严谨地分析各因素的影响，研究者采用了固定效应回归模型。结果显示，即使在控制了任务类型、模型本身和包装器类型等变量后，答案的可解析性（Parseability）仍然是预测准确率的强有力指标。这意味着，一个模型得分较低，很可能并非因为它“不懂”答案，而是因为它没有按照要求的格式输出。这揭示了当前评测方法中的一个潜在缺陷：许多基准测试在计算准确率时，默认所有解析成功的答案都是有效的，而忽略了格式合规本身就是一个需要被评估的能力。

论文作者指出，当前许多模型排行榜在报告准确率时，往往只给出一个单一数值，而没有考虑提示包装器带来的方差。这种忽略包装器变异性的评测报告在统计上是脆弱的。例如，一个模型可能在某一种提示格式下表现出色，但在另一种格式下表现平平，而排行榜上的单一数字无法反映这种不稳定性。研究者认为，为了获得更可靠、更具可重复性的评测结果，基准测试应该报告在多种提示格式下的性能范围，而不仅仅是平均值或最佳值。

基于这些发现，研究团队为LLM基准测试和结构化输出部署提出了若干实用建议。首先，评测者应主动探索多种提示包装器，并报告FSI和PSI值，以揭示模型对格式的真实敏感度。其次，在需要结构化输出的应用场景中（例如函数调用、数据提取），开发者应优先选择那些对格式变化鲁棒性更强的模型，或者通过更严格的提示工程来强制格式合规。最后，论文呼吁社区建立更统一的提示格式标准，以减少因格式差异带来的评测噪音。

这项研究对于AI开发者和评测社区具有重要的警示意义。它提醒我们，在追求模型性能提升的同时，不能忽视评测方法本身的严谨性。一个模型的真实能力，或许不应该仅仅由它在某一种固定提示格式下的表现来定义。随着LLM越来越多地被用于需要精确结构化输出的实际应用中，理解并量化提示格式的影响，将成为确保模型可靠性的关键一环。