符号回归（Symbolic Regression, SR）作为科学发现中的基础任务，旨在从数据集中自动发现最能描述其内在规律的数学表达式。这一过程在物理定律发现、工程建模和生物信息学等领域具有重要价值。传统方法主要依赖遗传算法等进化策略，虽然取得了一定成效，但在处理高维数据和复杂表达式时，常面临可扩展性不足和表达能力受限的瓶颈。

近年来，大语言模型（LLM）的崛起为符号回归带来了全新思路。研究者开始探索将LLM作为进化搜索的核心引擎，利用其强大的模式识别和代码生成能力来发现数学公式。然而，现有LLM-based方法普遍存在一个关键局限：它们过度依赖单一的标量评估指标（如均方误差MSE）作为反馈信号。这种简化处理忽略了数据集中蕴含的丰富结构信息，例如数据分布特征、噪声模式或局部相关性，导致搜索过程缺乏深度理解能力。

针对这一痛点，来自学术界的研究团队提出了一种名为“程序化上下文增强”（Programmatic Context Augmentation）的创新框架。该框架的核心思想是：让LLM在进化搜索过程中，能够主动通过代码与数据集进行交互式分析，从而提取更具信息量的上下文信号，而非仅仅接收一个聚合后的误差值。具体而言，框架允许LLM生成并执行数据探索代码（如统计检验、可视化分析或特征工程），将分析结果作为新的上下文反馈，指导后续的表达式生成与变异操作。

这种设计带来了显著优势。首先，通过程序化交互，LLM可以识别数据集中的异常点、趋势或周期性模式，从而在搜索早期就排除明显不合理的候选表达式。其次，上下文增强使得LLM能够根据数据特性动态调整搜索策略，例如在噪声较高的场景下优先选择更简洁的公式形式，避免过拟合。最后，该框架保持了与现有LLM-based进化搜索流程的兼容性，无需对模型本身进行微调，仅需在外部循环中增加代码执行与反馈整合模块。

研究团队在权威基准测试集LLM-SRBench上对框架进行了全面评估。实验结果显示，与多个强基线方法（包括传统遗传算法和标准LLM进化搜索）相比，该框架在发现准确性和搜索效率两方面均取得了显著提升。特别是在包含复杂非线性关系和噪声干扰的数据集上，程序化上下文增强方法展现出更强的鲁棒性，能够更快地收敛到接近真实表达式的解。

这项工作的意义不仅在于性能改进，更在于方法论上的突破。它展示了LLM在科学计算任务中的潜力远不止于简单的模式匹配——通过赋予模型“动手分析数据”的能力，可以将其从被动的评估器转变为主动的探索者。未来，该框架有望扩展到更广泛的科学发现场景，如微分方程发现、物理定律归纳或生物网络建模。同时，研究者也指出，代码执行的安全性和计算成本是实际部署中需要关注的问题，后续工作可探索更轻量级的上下文提取策略或安全沙箱机制。