提出通用智能体迭代框架统一策略优化与自改进

近日，一篇发表于arXiv的论文《Generalized Agent Iteration: One Formal Framework for Iterative Policy Improvement and Recursive Self-Improvement》提出了一种名为“通用智能体迭代”（Generalized Agent Iteration, GAI）的全新形式化框架，旨在统一强化学习中的经典方法与前沿的递归自改进（Recursive Self-Improvement, RSI）理念。

在传统强化学习中，广义策略迭代（Generalized Policy Iteration, GPI）是核心范式之一，它通过交替进行策略评估与策略改进来逼近最优策略。然而，GPI的一个关键假设是：策略的更新规则和评估基准均来自智能体外部，例如由环境提供的奖励信号或人为设定的价值函数。这种设定限制了智能体的自主性，难以刻画那些能够自我反思、自我修改甚至自我定义目标的高级智能系统。

针对这一局限，该论文提出的GAI框架将智能体重新定义为一个由可修改组件构成的系统配置。学习过程被建模为一个循环：先对当前智能体进行评估，再基于评估结果对其进行改进。这一看似简单的抽象，却通过引入两个关键“旋钮”（dials），实现了对不同学习范式的统一描述。

第一个旋钮关注“改进机制是否属于智能体自身”。若改进机制外在于智能体（如人类工程师调整算法），则对应传统的GPI；若改进机制内嵌于智能体内部（如智能体自主重写其推理模块），则进入递归自改进（RSI）的范畴。第二个旋钮则考察“评估标准是否外在于智能体”。若标准由外部环境或预设目标锚定，则系统具有“锚定极性”；若标准随智能体演化而漂移，则为“目标漂移”；若完全由智能体内部生成并自我参照，则构成“完全自指”系统。

通过这两个维度，GAI不仅清晰划定了GPI与RSI的边界，还构建了一个二维坐标系，可用于定位和比较现有AI系统。例如，AlphaZero可视为改进机制部分内化但评估标准仍由游戏规则锚定的系统；而某些元学习或神经架构搜索方法则可能更接近目标漂移区域。更重要的是，该框架使得RSI中的潜在缺陷（如目标崩溃、价值漂移或无限递归）可以被精确地表述为特定条件组合下的失效模式，从而为未来设计安全、可控的自改进系统提供理论依据。

作者强调，GAI并非提出新的算法，而是提供一种元层面的形式化语言，使研究者能在统一框架下讨论从经典强化学习到人工通用智能（AGI）路径上的各类系统。这一工作被视为迈向对递归自改进进行严格数学刻画的第一步，有望促进AI系统可比性、可分析性与可设计性的提升。