技术进展

SkillSmith:编译技能为边界引导接口

Heooo 05月18日12时01分 3 阅读

「研究提出SkillSmith框架,通过编译技能包为最小可执行接口,减少LLM代理冗余推理,降低57%令牌消耗与50%执行时间。」

在大型语言模型(LLM)驱动的代理系统日益普及的当下,技能(skills)作为赋予代理特定领域任务解决能力的关键组件,已被广泛集成于各类应用框架中。然而,现有主流范式通常将技能以上下文提示的方式直接注入代理的推理循环,一旦技能与运行时任务匹配,便会将整个技能描述、示例或规则作为上下文输入。这种看似直接的执行方式,实则引入了两大冗余来源:一是无关上下文的注入,即代理在处理特定任务时,仍需加载技能包中大量与当前子任务无关的信息;二是重复性的技能特定推理与规划,即每次调用同一技能时,代理都需要重新进行完整的推理与规划步骤,导致计算资源与时间的大量浪费。


针对上述痛点,来自学术界的研究团队提出了SkillSmith框架,这是一种边界优先的编译器-运行时(compiler-runtime)架构。其核心思想在于:在离线阶段,将技能包通过编译过程转化为最小化的可执行接口。具体而言,SkillSmith首先从技能描述中提取细粒度的操作边界(operational boundaries),这些边界定义了技能在不同输入条件下的行为范围、前置条件、后置条件以及可调用的原子操作。通过将技能分解为边界引导的模块化组件,SkillSmith能够在运行时仅动态访问并执行与当前任务精确相关的部分,从而最大化地消除无关上下文的注入,并显著降低冗余的推理开销。


在技术实现上,SkillSmith的编译器负责对原始技能进行静态分析,识别出其中可独立执行的子技能(sub-skills)及其相互依赖关系。随后,编译器为每个子技能生成一个轻量级的接口描述,该描述仅包含执行该子技能所必需的最小上下文信息,例如输入参数类型、输出格式以及调用约束。这种“边界优先”的设计使得代理在运行时可以像调用函数一样调用这些编译后的接口,而无需再理解整个技能包的完整逻辑。运行时环境则负责根据当前任务需求,动态选择并组合这些接口,形成高效的执行路径。


研究团队在专门构建的SkillsBench基准上对SkillSmith进行了全面评估。实验结果显示,相较于直接使用原始技能(raw-skills),SkillSmith在多个关键指标上取得了显著提升:解决阶段(solve-stage)的令牌使用量减少了57.44%,思考迭代次数降低了42.99%,任务解决时间缩短了50.57%(即速度提升2.02倍),而令牌相关的货币成本也同步降低了57.44%。这些数据充分证明了SkillSmith在减少冗余计算、提升代理执行效率方面的巨大潜力。


更值得关注的是,SkillSmith还展现出良好的模型可迁移性。实验表明,由更强模型(如GPT-4)编译生成的技能工件(compiled artifacts),可以被更小或更高效的运行时模型(如Llama 3)直接复用。在原始技能解释失败的情况下,复用编译后的工件反而能够提升任务准确率。这意味着SkillSmith不仅优化了单次执行效率,还为模型能力的跨规模复用提供了可行路径,有助于降低对高性能模型的依赖,推动LLM代理系统在资源受限场景下的落地应用。目前,该项目的源代码与数据已公开,供社区进一步研究与复现。

# LLM代理 # 技能编译 # 边界引导 # 推理优化 # 开源框架

来源:Heooo AI工具导航

📰

资讯不存在

该资讯可能已被删除或不存在

返回资讯列表