UniVR:在视觉空间中思考以实现统一视觉推理
首个从纯视觉演示中学习复杂推理、物理动态和长期规划的框架。
洞察 AI 小结
该研究突破了传统视觉推理对文本或图像-文本对的依赖,可能推动具身智能和机器人领域的发展,使模型能直接从视觉观察中学习复杂技能。
摘要
UniVR是一个从纯视觉演示中学习复杂推理、细粒度物理动态和长期规划的框架。其核心是VR-GRPO强化学习范式,通过全局和步骤级奖励确保推理的逻辑和物理一致性。为训练和评估,作者构建了VR-X基准,涵盖16个来源的多样化任务。UniVR在VR-X上取得高达25%的提升,并在多模态理解基准上表现优异,表明视觉空间推理的巨大潜力。
- 背景与动机:从原始视觉数据中学习世界知识是智能的基础能力,现有方法依赖文本或图像-文本对。
- 核心方法:提出VR-GRPO强化学习范式,结合全局和步骤级奖励,确保推理的逻辑一致性和物理一致性。
- 基准构建:创建VR-X基准,包含16个来源的长时操作、空间谜题和物理推理任务,用于纯视觉协议下的评估。
- 实验结果:UniVR在VR-X上提升高达25%,并在多模态理解基准上表现优异。
- 开源贡献:所有代码、数据和模型均已开源。
核心要点
- UniVR是首个从纯视觉演示中同时学习复杂推理、物理动态和长期规划的研究。
- VR-GRPO采用全局和步骤级奖励,无需任务特定启发式或图像-文本对。
- VR-X基准包含16个来源的长时操作、空间谜题和物理推理任务。
- UniVR在VR-X上提升高达25%,并在多模态理解基准上表现优异。
- 所有代码、数据和模型均已开源。
查看原文 ↗
原题:UniVR: Thinking in Visual Space for Unified Visual Reasoning