BOHM:零成本分层归因方法问世
「研究提出BOHM方法,通过路由权重实现零成本分层归因,在复合AI系统中性能接近SHAP但成本极低。」
复合AI系统通过层次化的专业组件来路由任务,但如何准确归因各组件对最终输出的贡献一直是个难题。传统Shapley值方法(如SHAP)虽然精确,却需要评估系统在任意组件子集上的表现,这在面对第三方API、不透明端点以及只集中路由少数工具的智能编排器时几乎不可行。针对这一痛点,最新研究提出了BOHM(零成本分层归因)方法,直接从系统已有的路由权重中提取归因树,实现了无需额外计算成本的多分辨率归因。
BOHM的核心思想十分简洁:它利用复合AI系统在运行时自然产生的路由权重来构建一棵层次归因树。叶节点的归因值是从根节点到该叶节点的路由权重的路径乘积;而第k层的归因则是深度为k的节点上的诱导分布。这种方法无需访问组件内部,不增加任何边际成本,并且能同时提供所有层次上的归因结果——这是扁平化方法在任何评估预算下都无法做到的。
研究团队在多个场景下对BOHM进行了验证。在包含18个LLM的三层层次结构上,针对880个LiveCodeBench问题,BOHM的Kendall tau相关系数达到0.928,而SHAP在每种子进行9000倍更多的联盟评估后,tau值为0.980。两者差距极小,但BOHM的计算成本几乎为零。在另一个涉及5个驱动器、7个基准测试的智能体研究中(共35个单元格,完全覆盖),驱动器将路由集中在单一工具上(顶部份额中位数为0.65),单元格级别的BOHM与SHAP的tau值取决于驱动器的首选工具是否真的是经验上最佳的工具(平均+0.22对比约+0.01)。在美国人口普查层次结构(475个叶节点,4层)上,BOHM在每个层次都恢复了真实排名(tau最高达0.722)。
从理论性质上看,BOHM满足效率、单调性、对称性和弱抑制性,但不满足Shapley的可加性。研究者将其定位为一种互补性原语:一种只要存在路由状态就能计算的多分辨率分解方法,其与Shapley的差异本身具有诊断价值。当部署的路由器接近最优时,BOHM与SHAP的结果会趋于一致。
这项研究为复合AI系统的归因提供了一种实用且高效的替代方案。对于大型生产环境中的AI系统,尤其是那些依赖第三方API或黑盒组件的场景,BOHM能够在几乎不增加成本的情况下提供有意义的归因信息,帮助开发者理解系统行为、定位瓶颈或优化路由策略。未来,该方法有望与现有可解释性工具结合,成为AI系统调试和审计的标准组件之一。
来源:Heooo AI工具导航