Signal YCurated AI News
更新于 8/20 09:5261 个信源

分层去噪实现多步视觉推理

AI 研究7/16 04:00HuggingFace Daily Papers查看原文 ↗
摘要

论文提出HDR(Hierarchical Denoising for Visual Reasoning)框架,将分层潜变量集成到因果视频生成中,实现多步视觉推理。HDR通过树状层次结构进行从粗到细的推理,并采用稀疏层次注意力模式降低计算成本。在六项任务(迷宫导航、汉诺塔、一笔画、滑动拼图、推箱子、倒水)的基准测试中,HDR相比流式自回归扩散基线,成功率从34.22提升至60.29(相对增益76.2%),平均进度从76.00提升至89.56,同时保持低延迟流式推理(每潜变量0.70秒),比双向扩散快54.2倍。

核心要点
  • HDR将视频潜变量组织成树状层次结构,实现粗到细的推理。
  • 稀疏层次注意力模式(SHAP)减少了时间注意力计算成本。
  • 提出包含六项任务的多步视频推理基准,涵盖分布外情况。
  • HDR在成功率上相对流式自回归基线提升76.2%(从34.22到60.29)。
  • HDR推理速度比双向扩散快54.2倍,每潜变量仅0.70秒。
AI 洞察
该工作将层次化推理引入视频生成模型,为构建更类人的视觉推理系统提供了新思路,可能推动视频模型在机器人、自动驾驶等需要多步规划领域的应用。