内部多元主义挑战成对比较偏好学习

在人工智能对齐和参与式设计领域，一种常见的做法是向用户展示一系列成对的局部比较案例，通过观察用户在这些具体情境下的选择来推断其偏好的决策规则。这种方法因其操作相对简单、数据易于收集而被广泛采用。然而，一篇来自arXiv的最新学术论文《内部多元主义与成对比较的局限性》对此提出了深刻质疑，揭示了这一方法论在理论基础上的潜在漏洞。

该研究指出，成对比较方法内嵌了两个关键假设：首先，认为局部的比较信息足以反映一个人希望自动化决策规则如何行为的完整意愿；其次，假设人们总是能够对这些比较做出明确、果断的回答。论文的核心贡献在于引入了“内部多元主义”这一概念，即个体在评价决策规则时，并非依据单一的、统一的偏好尺度，而是同时遵循多个权威的、有时甚至相互冲突的优先级。例如，一个人可能同时看重规则的“比例性”（根据每个人的贡献公平分配资源）、“平等主义”（确保所有人获得均等结果）和“平等待遇”（对所有个体一视同仁）。这些优先级并非简单的可调和，它们在不同的决策情境下可能指向截然不同的选择。

为了严谨地分析这一现象，研究团队构建了一个形式化的偏好模型。该模型将个体的偏好描述为对多个优先级权重的组合，而非单一的效用函数。基于此模型，论文识别出两种因内部多元主义而导致的成对比较方法失效情形。第一种是优先级的“全局性”问题。一些重要的道德或社会原则，如比例性、平等主义，其本质是全局性的：它们在一个具体案例中的含义，往往取决于该规则在其他案例中会如何表现。例如，一个“按需分配”的原则，在仅看两个孤立案例时可能无法被准确理解，因为其核心在于对整体资源分配格局的判断。局部成对比较因此可能完全遗漏这些全局性优先级。第二种情形是“内部冲突”问题。即使某些优先级在局部是可表征的，当两个或多个被个体同时强烈持有的优先级在特定情境下产生冲突时，强迫用户做出非此即彼的选择会引发严重的认知失调。这种被迫的“虚假选择”不仅可能无法反映用户的真实意愿，还可能导致其行为扭曲，例如产生不一致或后悔的决策。

论文并未止步于批判，而是进一步探索了解决方案。研究团队利用其模型模拟了允许用户报告“无法决定”或“不确定”选项的效果。实验结果表明，引入这种表达的灵活性，可以显著减少学习用户真实偏好所需的查询次数。这暗示着，传统的成对比较方法可能因为强迫用户在模棱两可的情况下做出选择，而引入了大量噪声和无效信息。允许“不确定”选项，实际上是在承认内部多元主义的存在，并为系统提供了更高质量、更少噪音的训练信号。

最终，该研究指向了一种更为根本的范式转变：偏好学习方法应当从“通过大量局部比较来间接推断偏好”转向“直接提取和建模用户所依据的核心优先级”。通过直接询问用户看重哪些原则（如公平、效率、安全），以及这些原则之间的相对重要性，可以构建出更忠实、更具可解释性的用户价值模型。这不仅有助于提升AI对齐的质量，也为参与式设计提供了更尊重人类认知复杂性的方法论基础。这篇论文为AI伦理和偏好学习领域提供了重要的理论反思，提示研究者们在追求技术效率的同时，不应忽视人类决策的深层结构与内在多元性。