分层去噪实现多步视觉推理

论文提出HDR（Hierarchical Denoising for Visual Reasoning）框架，将分层潜变量集成到因果视频生成中，实现多步视觉推理。HDR通过树状层次结构进行从粗到细的推理，并采用稀疏层次注意力模式降低计算成本。在六项任务（迷宫导航、汉诺塔、一笔画、滑动拼图、推箱子、倒水）的基准测试中，HDR相比流式自回归扩散基线，成功率从34.22提升至60.29（相对增益76.2%），平均进度从76.00提升至89.56，同时保持低延迟流式推理（每潜变量0.70秒），比双向扩散快54.2倍。

1. 背景与问题：视频模型缺乏类人多步推理，现有方法在逻辑一致性与低延迟间难以平衡。
2. HDR框架：将视频潜变量组织成树状层次，实现从粗到细的推理。
3. 稀疏层次注意力模式：降低时间注意力计算成本。
4. 基准测试：提出分层多步视频推理基准，涵盖六项任务。
5. 实验结果：HDR在成功率与推理速度上显著优于基线。

• HDR将视频潜变量组织成树状层次结构，实现粗到细的推理。
• 稀疏层次注意力模式（SHAP）减少了时间注意力计算成本。
• 提出包含六项任务的多步视频推理基准，涵盖分布外情况。
• HDR在成功率上相对流式自回归基线提升76.2%（从34.22到60.29）。
• HDR推理速度比双向扩散快54.2倍，每潜变量仅0.70秒。