小语言模型在智能体微任务中的能力边界研究

随着大语言模型（LLM）驱动的智能体系统日益复杂，研究人员开始探索将小型语言模型（Small Language Models, SLM）部署于围绕主规划器的“微任务”中，以提升效率与响应速度。这些微任务包括自动批准Shell命令、写入记忆、工具选择以及对历史对话轮次进行排序等关键操作。然而，一个核心问题尚未得到系统解答：现成的、未经微调的SLM是否足以胜任这些高要求的子任务？

近日，一篇发表于arXiv的论文《Measuring the Microtask Eligibility Gap: When Is an Off-the-Shelf SLM Enough for an Agent Harness?》对此展开了深入探究。研究团队构建了一个包含四类典型微任务的标准化基准测试框架，每项任务均配备固定提示模板和自动化评估指标，并设定了基于廉价非LLM基线（如BM25）锚定的性能阈值τ。尤为关键的是，该研究引入了置信区间（CI）感知的合格判定规则——只有当模型性能的置信下界明确超过τ时，才被视为“合格”。

在实验中，研究人员全面测试了Qwen3系列四个不同参数规模（0.6B、1.7B、4B、8B）的模型，在最佳推理设置下（FP16精度、贪婪解码、固定提示、无任何微调）的表现。令人意外的是，在总计16种（4任务×4模型）配置中，无一通过合格性验证。通过对原始输出和解析器行为的细致核查，研究确认了这一“微任务合格性差距”（Microtask Eligibility Gap）的真实存在。

为深入理解失败原因，团队设计了基于对数概率的决策阈值诊断机制（针对T1/T3/T4任务），并结合上下文长度与级联探针分析T2任务。结果将失败归因于两大类：一是模型本身的能力缺陷，二是可通过调整解码阈值改善的决策偏差，共识别出四种失败模式。此外，研究还评估了4比特量化（采用RTN、GPTQ、AWQ三种方法）的影响，发现量化带来的性能损失与模型规模密切相关，但即便如此，没有任何量化配置能使模型跨过合格门槛。这一现象在Llama-3.x系列模型上同样复现（12/12配置不合格），且对阈值τ的选择和提示词措辞（测试了原始提示及三种中性改写）均表现出高度鲁棒性。

该研究为智能体架构设计提供了重要实践启示：不应盲目用SLM替代传统基线方法，而应将其置于已通过CI验证的基线之后，仅在基线失效时介入。例如，一个4B参数的重排序器在BM25初筛结果上进行二次排序，虽自身未达合格标准，却仍能带来显著性能增益（+0.047，95% CI [0.020, 0.073]）。这表明，在资源受限的智能体系统中，SLM的价值更多体现在对可靠基线的增强，而非独立承担关键决策。