技术进展

概率推理融合语言与代码模拟人类归纳

Heooo 09月03日12时01分 4 阅读

「一篇新论文提出计算模型,将抽象知识编码为结合自然语言和源代码的心智程序,借助LLM引导的贝叶斯学习算法进行推断。该模型在多项行为实验中成功复现人类归纳与主动探究的定量特征,相比纯大语言模型和经典贝叶斯模型更具数据效率和计算效率。」

人类如何从稀疏、流式且充满噪声的经验数据中持续增长抽象知识,始终是认知科学领域的一项根本性挑战。任何可行的计算解释都需要同时满足三个条件:其一,具备数据效率和计算效率,能够在有限样本与算力下完成学习;其二,能够捕捉不确定性的梯度,从而支持智能的探究与信息收集行为;其三,具备足够的灵活性,以在心理层面表征人类能够学习和思考的无限多样概念。

针对这一难题,一项最新研究引入了全新的计算模型——通过概率推理将语言和代码融合,从而模拟人类归纳与探究过程。该论文发表于arXiv平台,核心思路在于将符号知识编码为“心智程序”,这些程序本身结合了自然语言与源代码两种表达形式。随后,模型采用由大语言模型(LLM)引导的贝叶斯学习算法,顺序推断这些心智程序,从而逼近人类的认知更新过程。

这种设计并非简单地将大语言模型作为黑箱直接回答问题,而是利用其作为底层神经机制来实现“可处理的推断”。顶层则是符号化的程序假设空间,具备出色的表达力和可解释性。自然语言提供了灵活的概念语义,源代码则提供了精确的逻辑结构,两者的结合使得模型能够覆盖从直观类比到严格推理的广泛认知场景。

在实验验证部分,研究团队开展了一系列行为对照研究。结果显示,该模型能够成功复现人类归纳学习和主动探究中的多种定量现象,包括锚定效应(anchoring)、花园路径效应(garden-pathing)等经典认知特征。与之形成鲜明对比的是,纯大语言模型在底层任务上往往直接失败,或者虽能完成部分任务却无法再现人类特有的行为曲线;而经典的贝叶斯模型尽管具备严谨的统计基础,却常常需要付出极高的计算代价,甚至在某些复杂任务中难以胜任。

这些对比结果清晰地揭示出混合架构的独特优势:大语言模型贡献了从海量数据中习得的先验知识和快速联想能力,使其能够高效生成和剪枝候选程序;而贝叶斯推断框架则保证了假设修订过程的合理性和不确定性量化。两者协作之下,模型既能像科学家一样生成解释,又能像儿童一样在不确定性中提出精准问题。

该研究的深层意义在于提出了一种可能的人类知识增长机制:人类大脑可能持续维护着许多涵盖语言类似和程序类似表征的假设,并依据近似贝叶斯更新规则不断修正这些假设。与此同时,一种自下而上的神经机制(类似大语言模型的架构)使得推断既可行又可学习,架起了符号推理与联结主义之间的桥梁。

这项成果也为通用人工智能的发展提供了新思路。未来的AI系统不一定要在纯端到端神经网络或纯符号推理之间做出非此即彼的选择。通过在两种范式中引入概率性协调机制,系统有望获得更强的少样本学习能力、主动探索能力以及面对未知概念时的泛化性。当然,当前模型仍处于认知模拟阶段,距离覆盖人类全部认知复杂性尚存距离,但其方法框架无疑为理解智能的本质提供了一个富有启发性的计算视角。

# 贝叶斯学习 # 心智程序 # 人类归纳

来源:Heooo AI工具导航