RxBrain：具身认知基础模型，融合语言-视觉推理与想象

RxBrain是一个具身认知基础模型，通过语言和视觉想象的互补作用，将具身规划表示为单一规划序列。语言提供抽象结构（任务分解、约束等），视觉想象通过世界状态预测和子目标规划将其具体化。模型采用统一的多模态混合Transformer架构，并构建了自动流水线从具身视频中生成联合文本-视觉监督。实验表明，RxBrain能生成耦合文本推理和世界状态预测的规划。

1. 问题背景：具身认知需要智能体将高层任务推理与物理状态连接。
2. 模型架构：RxBrain采用统一的多模态混合Transformer架构，支持语言、图像和视频的理解与生成。
3. 训练方法：构建自动流水线，将具身视频转换为文本-视觉联合规划监督。
4. 评估基准：引入RxBrain-Bench评估模型联合文本与视觉的规划能力。
5. 实验结果：RxBrain保持具身理解与生成能力，生成耦合文本推理与状态预测的规划。

• RxBrain将具身规划表示为单一序列，语言和视觉想象互补。
• 模型采用统一的多模态混合Transformer架构，支持多模态理解与生成。
• 自动流水线将具身视频分解为规划步骤，并与视觉状态转换对齐。
• 引入RxBrain-Bench评估联合文本与视觉的规划能力。
• 实验显示RxBrain保持具身理解与生成能力，并实现耦合规划。