语言模型能否独立发现“零”的概念

人工智能系统，尤其是基于人工神经网络的模型，正朝着突破人类数学知识边界的目标发展。这些系统能否超越其训练数据，实现真正的数学发现，是一个关键问题。数学发现需要一种强大的“分布外泛化”能力，即能够假设出全新的、甚至在逻辑上更强大的数学结构。有观点认为，语言能力在人类认知中支撑了这种泛化。近期，一篇发表在arXiv上的研究论文《Nothing from Something: Can a Language Model Discover 0?》以简单算术为案例，系统考察了现代AI模型如何拓展其数学视野，重点评估了它们能否独立发现“零”这一概念。

研究团队以GPT-2规模的语言模型为实验对象，设计了严格的测试环境。他们首先让模型在仅包含正整数算术运算的数据上进行训练，例如加法、减法等，但训练集中完全不出现数字“0”或涉及零的运算。随后，在测试阶段，模型被要求处理包含零的算术问题，例如“5 - 5 = ?”或“3 + 0 = ?”。研究发现，无论是否经过语言预训练，GPT-2规模的模型在测试时都无法完成这种泛化：它们无法从正整数算术中推导出零的存在及其运算规则。这表明，对于小规模模型而言，仅依靠语言预训练或测试时的上下文学习，不足以让它们自主发现“零”这一逻辑上更基础的数学概念。

然而，研究也带来了积极发现。当模型在训练阶段接触到少量包含零的示例后，其表现出现了显著提升。具体而言，模型仅需数十到数百个涉及零的算术示例，就能学会正确使用零进行运算。这一发现揭示了神经网络模型在数学发现上的潜力：虽然它们无法从零开始凭空创造，但通过少量有针对性的引导，它们能够快速掌握新概念。更值得注意的是，语言预训练在这一过程中扮演了重要角色。研究发现，经过语言预训练的模型，所需的学习示例数量减少了约50%。这意味着，语言能力确实能够为神经模型中的数学发现提供“脚手架”，帮助模型更高效地从有限数据中抽象出数学规律。

这项研究的意义不仅限于算术领域。它揭示了AI在数学发现上的一种可能路径：语言模型并非完全依赖海量数据或先验知识，而是可以通过语言预训练获得一种归纳偏置，从而在遇到少量新数学概念时更快地泛化。这与人类数学学习的过程有相似之处——语言为抽象思维提供了符号基础。不过，研究也明确指出，当前模型在数学发现上的能力仍有限：它们无法在没有任何示例的情况下自主发明“零”这样的概念，这需要更强的逻辑推理和符号操作能力。未来，如何设计更有效的训练范式，让模型从“从无到有”的发现中迈出关键一步，将是AI数学研究的重要方向。