技术进展

ANNEAL:符号补丁学习让LLM代理实现持久故障修复

Heooo 05月19日12时07分 1 阅读

「ANNEAL通过故障驱动知识获取机制,在不修改模型权重的情况下,对过程知识图进行受控符号编辑,彻底消除重复故障,将复发故障率降至0%。」

基于大语言模型(LLM)的智能代理在执行复杂任务时,常常会遭遇各种执行错误。尽管许多代理系统能够从单次错误中恢复,但当底层的过程知识——如操作符模式、前置条件和约束——未能得到根本性修复时,它们会在相同的故障上反复失败。现有方法通常通过更新提示词、记忆或模型权重来应对这一挑战,但都未能直接修复编码任务执行方式的符号结构,也缺乏安全部署所需的治理保障。

针对这一痛点,一项发表于arXiv上的最新研究提出了ANNEAL,一种神经符号代理系统。ANNEAL的核心创新在于,它能够将重复出现的故障转化为对过程知识图(Process Knowledge Graph)的受控符号编辑,而无需修改底层基础模型的权重。这一机制被称为故障驱动知识获取(Failure-Driven Knowledge Acquisition, FDKA)。

FDKA的工作流程严谨且安全。首先,系统会定位导致故障的负责任操作符。接着,通过受约束的LLM生成过程,合成一个类型化的补丁。该补丁并非直接应用,而是需要经过多维度评分、符号护栏(symbolic guardrails)以及金丝雀测试(canary testing)的严格验证。只有通过所有验证的补丁才会被正式提交。更关键的是,每一次被接受的编辑都带有完整的溯源记录,并支持确定性回滚能力,确保了系统行为的可解释性和安全性。

研究团队在四个不同的领域、进行了27次多种子运行实验,将ANNEAL与ReAct、Reflexion等强基线系统进行了对比。结果显示,ANNEAL是唯一能够提交持久结构性修复的系统。相比之下,ReAct和Reflexion虽然能在单次执行中实现较高的恢复率,但在面对重复出现的故障时,其保留的故障率高达72%至100%。而ANNEAL在测试的所有重复故障场景中,成功将这一比例降至0%。

进一步的消融实验证实了FDKA机制的关键作用:当移除FDKA后,系统无法进行任何结构性修复,任务成功率最多下降了26.7个百分点。这一结果表明,受控的符号修复为持久故障消除提供了一种与权重级和提示词级适配互补的全新范式。

ANNEAL的出现,为构建更可靠、更安全的LLM代理系统开辟了新路径。它证明了通过将神经网络的灵活性与符号系统的严谨性相结合,不仅可以提升代理的自我进化能力,还能在保证系统稳定性和治理要求的前提下,从根本上解决重复性错误。这对于需要长期稳定运行、对错误容忍度极低的企业级AI应用而言,具有重要的实践价值。

未来,研究团队计划进一步探索如何将ANNEAL的框架扩展到更复杂的多代理协作场景,并优化补丁合成的效率与泛化能力。这项研究也为AI安全领域提供了一个重要启示:在追求模型能力提升的同时,对行为过程的符号化治理同样不可或缺。

# ANNEAL # LLM代理 # 符号学习 # 故障修复 # 神经符号系统

来源:Heooo AI工具导航

📰

资讯不存在

该资讯可能已被删除或不存在

返回资讯列表