非平稳环境下上下文强化学习综述

强化学习领域正迎来一场静悄悄的范式转变。传统的强化学习依赖智能体在环境中反复试错，通过更新网络参数来学习最优策略。然而，近年来兴起的上下文强化学习（In-Context Reinforcement Learning，ICRL）提出了一种截然不同的思路：让预训练模型在推理时，仅通过上下文窗口内的交互历史来推断任务规则并调整行为，而无需对模型参数进行任何更新。这一方向融合了决策预训练Transformer、算法蒸馏、长上下文元强化学习以及检索增强智能体等前沿技术，展现出在复杂环境中快速适应的巨大潜力。

不过，现实世界中的环境往往是动态变化的。当智能体部署在非平稳环境中时，其累积的交互上下文可能迅速过时。例如，奖励函数可能突然改变，状态转移概率可能发生偏移，甚至智能体的动作接口或观测通道都可能出现变化。在这种情形下，过去有效的经验可能变成误导信息，而旧环境规律重新出现时，这些经验又可能再次有用。如何处理这种非平稳性，成为ICRL走向实际应用必须解决的核心挑战。

近日，一篇来自arXiv的综述论文《In-Context Reinforcement Learning under Non-Stationarity: A Survey》系统性地探讨了这一问题。该论文将非平稳环境下的ICRL定义为：在部署策略参数固定不变的前提下，智能体通过上下文进行适应的过程。这意味着，策略必须同时推断当前环境的决策规则，以及累积证据中哪些部分仍然支持该规则。这比静态环境下的ICRL复杂得多，因为智能体不仅要学习，还要学会“遗忘”那些不再相关的经验。

论文首先厘清了非平稳ICRL与元强化学习（meta-RL）、决策序列建模、检索增强强化学习、价值/模型感知ICRL以及奖励反馈智能体等概念之间的关系。元强化学习通常通过在训练阶段暴露于多种任务来学习快速适应，但非平稳ICRL更强调在部署时仅通过上下文进行适应，且环境变化可能发生在测试阶段。决策序列建模则将强化学习转化为序列预测问题，而非平稳性要求模型能够检测到序列中的分布偏移。

为了系统组织现有文献，论文提出了三个核心问题：第一，什么在变化？即环境中的哪些组件发生了改变，包括奖励函数、转移核、观测通道、动作接口、约束模型，以及示范或记忆分布等。第二，变化如何展开？变化可能是突然的、渐变的、周期性的，或者是基于某种隐藏状态的切换。不同的变化模式对智能体的适应策略提出了不同要求。第三，变化对智能体而言可观测程度如何？有些变化是直接可观测的（如奖励值的变化），有些则需要智能体通过交互来推断（如转移概率的偏移），还有些变化可能完全不可观测。

围绕这三个问题，论文梳理了近年来一系列代表性工作。例如，一些研究通过设计能够检测奖励变化的注意力机制，让模型在上下文窗口中自动忽略过时的经验；另一些工作则利用检索增强技术，从外部记忆库中提取与当前环境最相关的经验，从而缓解非平稳性带来的负面影响。还有研究探索了如何通过上下文窗口的长度控制来平衡探索与利用，在变化发生时快速切换策略。

这篇综述的意义在于，它首次将非平稳性作为ICRL研究的核心维度进行系统梳理，为该领域提供了一个清晰的问题框架和文献地图。随着大语言模型和决策Transformer的快速发展，ICRL有望在机器人控制、自动驾驶、游戏AI等动态场景中发挥更大作用。而理解并解决非平稳环境下的适应问题，将是释放这一潜力的关键一步。