大模型政治光谱测试:多数倾向自由左翼
「一项针对16个主流大语言模型的系统性政治倾向测试显示,几乎所有模型(包括OpenAI的GPT-5.x、GPT-4o,Anthropic的Claude系列,Google的Gemini,Meta的Llama,以及中国的DeepSeek、Qwen、Kimi和GLM)在政治罗盘测试中均落在自由-左翼象限。唯一例外是xAI的Grok 4.5,其在30次测试中一半结果偏左、一半偏右,平均经济得分为-1.3(接近中性),但内部存在不可预测的二元分裂。测试通过逆向工程恢复了政治罗盘网站的评分算法,验证误差仅0.01分。该研究揭示了当前AI模型在政治立场上的高度一致性,以及Grok独特的随机性特征。」
一项针对主流大语言模型政治倾向的深度测试引发业界关注。研究者选取了16个代表性模型,包括OpenAI的GPT-5.6 Sol、GPT-5.5、GPT-4o,Anthropic的Claude Fable 5、Opus 4.8、Sonnet 5、Haiku 4.5,Google的Gemini Flash,Meta的Llama 4 Maverick,xAI的Grok 4.5,中国的DeepSeek V3、Qwen3 235B、Kimi K2、GLM 4.5,以及欧洲的Mistral Large和Small,通过政治罗盘网站(politicalcompass.org)的62题标准问卷进行系统性测试。
每款模型被要求完整回答问卷30次,以消除单次回答的随机波动。此外,研究者还设计了反向提问版本(将每个问题的立场翻转)和乱序版本,总计完成1120份有效问卷(尝试1125次,5份因空白被丢弃)。测试结果清晰显示:15款模型稳定落在自由-左翼象限,形成高度一致的立场集群。
最引人注目的例外是xAI的Grok 4.5。其30次测试结果呈现完全对立的二元分裂:15次落在左翼(平均经济得分-5.9),15次落在右翼(平均经济得分+3.3),中间没有任何过渡值。这种分裂在反向提问和乱序测试中同样出现,且左右结果交替出现,如同抛硬币般随机。在社会维度上,Grok无论经济立场如何,始终保持在自由方向。这意味着Grok的平均经济得分-1.3(接近中性)是一个具有误导性的统计假象,掩盖了其内部不可预测的立场切换机制。
研究的关键突破在于对政治罗盘网站评分算法的逆向工程。由于该网站未公开评分权重,研究者通过约230次单题试探,逐步恢复出完整的评分函数。随后用9次完整测试验证,发现重建评分与实际网站显示的最大误差仅为0.01分(源于网站显示四舍五入)。这一成果使得测试结果具有高度可重复性和可信度。
从具体数据看,所有模型在经济维度(左-右轴)和社会维度(自由-威权轴)上的分布呈现明显聚类。OpenAI的GPT系列、Anthropic的Claude系列、Google的Gemini以及中国模型(DeepSeek、Qwen、Kimi、GLM)均落在左下象限,即经济上偏左、社会上偏自由。欧洲的Mistral模型也表现出类似倾向。唯一偏离此模式的Grok,其右翼结果落在右下象限(经济偏右、社会偏自由),左翼结果则与其他模型重叠。
研究者指出,这种高度一致性可能源于训练数据的共同特征:互联网上公开可用的文本语料库本身带有特定的文化倾向,而模型在强化学习阶段也可能被引导至符合主流价值观的方向。Grok的特殊性可能与其训练策略有关——xAI可能有意保留了模型的立场多样性,但以不可控的随机性为代价。
测试还揭示了模型回答的稳定性差异。大多数模型在30次重复测试中结果波动极小,标准差在0.3分以内。而Grok的标准差高达4.6分(经济维度),完全源于其二元分裂特性。这种不稳定性在实际应用中可能产生问题:用户在不同对话中可能得到截然不同的政治观点,且无法预测当前回答属于哪个立场。
从技术角度看,该研究为评估AI模型的政治偏向提供了可重复的方法论。逆向工程评分算法的思路也可推广至其他封闭评估系统。研究者公开了所有测试数据和重建的评分代码,供社区复现和扩展。
对于开发者而言,这一发现具有实际意义。如果应用需要模型保持政治立场的一致性(如教育、新闻摘要等场景),Grok的随机性可能成为缺陷。而对于追求观点多样性的场景,Grok的二元切换或许能提供不同视角,但其不可控性仍是挑战。
值得注意的是,中国模型(DeepSeek V3、Qwen3 235B、Kimi K2、GLM 4.5)在测试中并未表现出与其他模型显著不同的政治倾向,均落在自由-左翼象限。这反驳了“中国模型必然不同”的常见假设,表明在训练数据主导下,全球主流大模型的政治光谱趋于收敛。
研究还发现,模型规模与政治倾向之间没有明显关联。同一系列中的不同尺寸模型(如Mistral Large与Small)结果高度相似,说明立场主要由训练数据和基础架构决定,而非参数数量。
从更宏观的视角看,这项测试揭示了当前AI发展的一个深层特征:大语言模型并非中立的信息处理器,而是训练数据中隐含文化价值观的映射器。当几乎所有模型都落在同一象限时,意味着它们可能正在强化某种单一视角,而压制其他观点。Grok的随机分裂虽然不完美,但至少提供了另一种可能性——尽管是以不可预测的方式。
对于用户和开发者来说,理解模型的这种倾向性至关重要。在需要中立性(如事实核查、科学解释)的场景中,自由-左翼倾向可能不会造成太大偏差。但在涉及政治辩论、政策分析等话题时,模型输出的观点可能系统性地偏向某一方向。Grok的随机性反而可能提供一种“立场校正”的意外效果,尽管其实现方式粗糙且不可控。
未来,模型开发者可能需要更透明地披露其政治倾向,或提供立场控制选项。xAI对Grok的设计思路——允许模型在不同立场间切换——或许值得借鉴,但需要更精细的控制机制,而非简单的随机选择。
该研究同时提醒我们,任何单一测试工具(包括政治罗盘)都有其局限性。62道题目无法完全捕捉政治立场的复杂性,但作为横向比较工具,它提供了有价值的参考。研究者强调,测试结果反映的是模型在特定测试环境下的表现,而非对模型“真实政治立场”的绝对判断。
随着AI模型越来越多地参与信息传播和决策支持,其隐含的价值观偏见将成为持续的研究课题。这项测试为理解当前模型的政治倾向提供了重要基准,也为未来开发更中立、更可控的AI系统指明了方向。
最后,研究者建议社区采用类似方法对更多模型进行测试,并开发更全面的评估框架。随着模型迭代速度加快,定期进行政治倾向审计应成为模型发布的标准流程之一。
这项研究的完整数据和方法已在GitHub上开源,供其他研究者复现和扩展。对于关注AI安全与伦理的从业者而言,这是一份不可多得的实证资料。
来源:Heooo AI工具导航