UniVR:在视觉空间中思考以实现统一视觉推理

AI 研究HuggingFace Daily Papers7/14 04:00译自英文查看原文 ↗

首个从纯视觉演示中学习复杂推理、物理动态和长期规划的框架。

洞察 AI 小结
该研究突破了传统视觉推理对文本或图像-文本对的依赖,可能推动具身智能和机器人领域的发展,使模型能直接从视觉观察中学习复杂技能。
摘要

UniVR是一个从纯视觉演示中学习复杂推理、细粒度物理动态和长期规划的框架。其核心是VR-GRPO强化学习范式,通过全局和步骤级奖励确保推理的逻辑和物理一致性。为训练和评估,作者构建了VR-X基准,涵盖16个来源的多样化任务。UniVR在VR-X上取得高达25%的提升,并在多模态理解基准上表现优异,表明视觉空间推理的巨大潜力。

  1. 背景与动机:从原始视觉数据中学习世界知识是智能的基础能力,现有方法依赖文本或图像-文本对。
  2. 核心方法:提出VR-GRPO强化学习范式,结合全局和步骤级奖励,确保推理的逻辑一致性和物理一致性。
  3. 基准构建:创建VR-X基准,包含16个来源的长时操作、空间谜题和物理推理任务,用于纯视觉协议下的评估。
  4. 实验结果:UniVR在VR-X上提升高达25%,并在多模态理解基准上表现优异。
  5. 开源贡献:所有代码、数据和模型均已开源。
核心要点
  • UniVR是首个从纯视觉演示中同时学习复杂推理、物理动态和长期规划的研究。
  • VR-GRPO采用全局和步骤级奖励,无需任务特定启发式或图像-文本对。
  • VR-X基准包含16个来源的长时操作、空间谜题和物理推理任务。
  • UniVR在VR-X上提升高达25%,并在多模态理解基准上表现优异。
  • 所有代码、数据和模型均已开源。
查看原文 ↗
原题:UniVR: Thinking in Visual Space for Unified Visual Reasoning