讯飞发布统一多模态具身智能基础模型

具身智能领域正迎来新的突破。科大讯飞研究团队近日在arXiv上发布技术报告，详细介绍了名为iFLYTEK-Embodied-Omni的统一多模态基础模型。该模型的核心创新在于将视觉（包括视频和图像）、语言和动作生成三大模态整合到一个统一的Omni框架中，旨在解决当前通用具身智能体面临的核心挑战。

通用具身智能体需要理解多模态指令、预测环境变化，并在长时间跨度内生成精确的控制动作。然而，现有方法通常将视觉-语言推理、基于视频的世界建模和动作生成作为独立模块处理，采用级联流水线的方式：先合成未来观察结果，再从中推断动作。这种设计虽然模块化程度高，但存在明显的接口瓶颈，且容易导致预测误差在模块间传递和累积，最终影响整体性能。

iFLYTEK-Embodied-Omni的提出正是为了打破这一局限。该模型通过共享的多模态自注意力机制，让视觉-语言模型、视频生成模型和动作生成模型之间能够直接通信。这种设计巧妙借鉴了生物神经系统的“大脑-小脑”协作机制：视觉-语言模型和视频生成模型构成高层“大脑”，负责指令理解、任务规划、进度跟踪以及未来视觉状态的预测；而动作生成模型则扮演低层“小脑”的角色，直接将规划好的子目标和共享的多模态上下文转换为可执行的动作序列。

这种架构设计带来了几方面的优势。首先，避免了传统级联方法中信息在模块间传递时的损失和失真。其次，高层和低层模型在共享表征空间中协同工作，使得动作生成能够直接受益于高层对环境和任务的理解，而不需要额外的中间表示转换。第三，统一的框架使得模型能够端到端地学习从感知到动作的完整映射，有助于提升整体性能的鲁棒性。

为了训练这一模型，研究团队构建了一个综合性的数据集。该数据集不仅包含动作标注的具身视频（来自人类演示和机器人交互），还整合了无动作标注的具身视频、具身推理数据、具身感知数据以及通用图像文本数据。这种多源数据的融合策略，使得模型能够在丰富的场景中学习到通用的具身智能能力，同时降低对昂贵动作标注数据的依赖。

在训练策略上，研究团队采用了四阶段渐进式方法。第一阶段单独训练视觉-语言模型，使其具备强大的多模态理解能力；第二阶段训练视频生成模型，使其能够根据当前状态和指令预测未来的视觉变化；第三阶段训练动作生成模型，使其能够将高层规划转化为具体的动作序列；最后阶段对整个模型进行联合微调，让各模块在统一的框架下协同优化。这种渐进式训练策略有效避免了从头开始联合训练可能带来的不稳定性，同时保证了每个模块都能充分发挥其专长。

iFLYTEK-Embodied-Omni的发布标志着具身智能领域在统一多模态建模方向上迈出了重要一步。它展示了将视觉、语言和动作三大模态深度融合的可行性，为开发能够在复杂环境中自主执行任务的通用智能体提供了新的技术路径。未来，该模型有望在家庭服务、工业制造、医疗辅助等需要人机协作的场景中发挥重要作用。