多智能体强化学习（MARL）在现实应用中常需处理外部自然语言指令，这些指令可能打断智能体正在执行的宏动作（macro-action），并与长期目标产生冲突。传统方法通过奖励塑造（reward shaping）来调整智能体行为，但这种方式在指令切换场景下会导致价值估计不一致，因为贝尔曼更新会在不同指令上下文间耦合价值估计，引发价值冲突。

针对这一挑战，来自arXiv的最新研究提出了宏动作价值修正算法MAVIC（Macro-Action Value Correction for Instruction Compliance）。MAVIC的核心创新在于，它不依赖奖励塑造，而是直接修正指令边界处的贝尔曼备份（Bellman backup）。具体而言，当外部指令打断宏动作时，MAVIC通过修正传入指令的目标值，并恢复当前目标下的延续价值，从而保持价值估计的一致性。这样，智能体可以在一个统一的策略下，随机切换指令时仍能维持稳定的价值函数。

研究团队提供了严格的理论分析，证明MAVIC在随机指令切换场景下能够保证价值估计的一致性。同时，他们基于演员-评论家（actor-critic）框架实现了MAVIC算法，并在日益复杂的协作型多智能体环境中进行了实验验证。实验结果表明，MAVIC在保持基础任务性能的同时，显著提升了指令遵从性（instruction compliance）。这意味着智能体既能及时响应外部指令，又不会因频繁的任务切换而损害长期目标的完成效率。

MAVIC的提出为多智能体系统在动态指令环境下的应用提供了新的思路。例如，在机器人协作、智能仓储、自动驾驶车队等场景中，智能体需要同时处理来自人类操作员或环境变化的临时指令，同时还要完成预设的长期任务。MAVIC通过修正价值函数的自举目标，避免了传统方法中价值估计的漂移问题，使得智能体能够在复杂任务中保持鲁棒性。

此外，MAVIC的算法设计具有通用性，可以集成到现有的多智能体强化学习框架中，无需对网络结构或训练流程进行大幅改动。这为研究者提供了即插即用的解决方案，有望推动多智能体指令跟随领域的发展。论文已在arXiv上公开，并提供了理论推导和实验细节，感兴趣的读者可以进一步查阅。