从像素到状态：将交互式世界模型重新构想为游戏引擎

本文提出将交互式世界模型视为游戏引擎，从动作控制、状态动态、持久性和实时生成四个维度分析现有方法，并介绍了《黑神话：悟空》的90小时数据集，用于状态感知的世界建模。

1. 引言：交互式世界模型的目标与挑战
2. 玩家动作控制：如何根据用户输入生成连贯响应
3. 游戏状态动态：规则驱动的状态更新机制
4. 状态-观测持久性：长时程交互后果的保持
5. 实时交互生成：低延迟生成循环的实现

• 视频生成模型被视为下一代游戏引擎，但需解决规则遵循、长期后果和实时生成问题。
• 传统游戏引擎通过动作-状态-观测循环实现交互，本文以此框架组织分析。
• 四个关键维度：动作控制、状态动态、状态-观测持久性、实时生成。
• 为《黑神话：悟空》构建了90小时数据集，包含对齐的动作、状态和观测数据。
• 数据集提供结构和语义标注，支持状态感知的世界模型研究。