超图结构序列化提升文本世界模型表现

在语言模型智能体的研究中，世界模型扮演着关键角色，它让智能体能够预测环境动态，并在行动之前进行规划。在文本环境中，模型需要从序列化的状态描述中学习符号化动作效果。然而，序列化结构本身的作用一直缺乏系统性的探索。

近期，一项名为HyperWorld的研究针对这一问题展开了受控实验。研究者将原始观测与三种基于相同真实状态的符号序列化方式进行了对比：独立句子、成对三元组，以及以实体为中心的超边单元。超边单元会围绕实体和关系，将多个相关事实分组在一起，形成更高阶的结构化表示。所有变体都采用了相同的训练目标，即给定一个状态和一个动作，模型需要预测符号化效果，或者判断该动作是否不可行。

实验覆盖了不同模型规模、数据预算，以及分布内和分布外测试世界。结果显示，超边序列化在0.5B至1.5B规模的模型上，以及在分布偏移的场景中，带来了最明显的性能提升。随着模型规模增大，不同序列化方式之间的差距会缩小。成对三元组在分布内的精确匹配指标上，能够与超边方式持平甚至略有超出，但超边方式在分布外的事实F1分数上表现最强，同时在中小规模模型上，实现了可行性检测与效果预测之间的最佳平衡。

在下游的贪婪规划任务中，采用超边世界模型的智能体成功率最高。这表明，高阶状态组织是一种简单却有效的归纳偏置，尤其当模型容量有限，或者测试环境与训练环境存在差异时，这种偏置能够帮助模型更好地泛化。

该研究的核心贡献在于，它首次系统地揭示了状态序列化结构对文本世界模型学习的影响。此前的相关工作往往将状态描述视为一维线性文本，而HyperWorld通过引入超图结构，让模型能够更自然地感知实体与关系之间的多重关联。这种结构上的调整并不需要复杂的模型架构改动，仅仅改变了输入序列的组织方式，就带来了显著的性能变化。

值得注意的是，这项发现的实用价值体现在多个维度。对于部署在资源受限场景下的中小规模模型而言，超边序列化提供了一种低成本、高收益的改进手段。而对那些需要面对动态环境的智能体来说，更强的分布外泛化能力意味着它们能够更从容地应对未知状态。

尽管实验主要围绕文本世界展开，但研究者认为，这一思路同样适用于更广泛的符号推理任务。超图结构作为一种偏置，有望在未来的多模态或混合现实环境中发挥作用。HyperWorld的研究为理解语言模型如何组织世界知识提供了新的视角，也为后续的智能体设计提供了一条简洁而扎实的优化路径。