动态调度基准揭示LLM调度智能体可观测性悖论

在神经组合优化领域，动态柔性作业车间调度问题（DFJSP）的进展长期受困于方法论上的矛盾：静态基准测试容易导致过拟合，而未经校准的随机生成器又因随机噪声掩盖了算法的真实能力。为了解决这一困境，一项最新研究提出了DynaSchedBench，一个专门为DFJSP设计的诊断框架，通过严格控制的实例生成过程，为评估LLM调度智能体提供了更可靠的测试平台。

DynaSchedBench的核心创新在于其顺序事件空间校准器（SESC）。与传统依赖参数采样的方法不同，SESC计算一种名为“调度压力指数”（SSI）的新指标，用以按难度对实例进行分层。研究团队证明，SESC在计算效率上显著优于进化基线方法，同时能可靠地收敛到目标指标。该框架集成了实例生成、快照模拟、智能体、评估和可视化等模块化组件，从而能够对反应式和前瞻式策略进行严格测试。

利用这个经过校准的环境，研究团队识别出LLM调度智能体的关键局限性，其中最引人注目的是所谓的“可观测性悖论”。在动态调度的逐步在线决策过程中，向智能体提供完整的结构信息（即“神谕”访问权限）反而可能导致策略性能下降，其表现甚至不如仅提供简洁信息的情况。这一发现挑战了传统认知，即更多信息总是有利于决策，揭示了LLM在处理复杂、动态调度任务时可能存在的信息过载或注意力分散问题。

此外，研究还发现，尽管消耗了大量token，但工具增强和细化策略未能可靠地提升性能。大多数LLM智能体在动态调度任务中无法持续超越强大的调度基线（如优先规则），其行为更像鲁棒的启发式近似器，而非卓越的优化器。这表明，当前LLM在需要精确计算和长期规划的调度问题上，仍缺乏真正的优化能力，其优势更多体现在对复杂规则的快速适应和近似推理上。

DynaSchedBench的提出为调度领域的研究者提供了一个标准化的评估工具，有助于更清晰地比较不同方法的优劣，并推动LLM在调度优化中的实际应用。该框架的开源特性（通过arXiv发布）也意味着社区可以在此基础上进行复现和扩展。未来，如何设计更高效的信息表示和决策策略，以克服“可观测性悖论”，并提升LLM在组合优化中的表现，将成为重要的研究方向。