
transcript
show notes
WorldCrafter 是一种创新的视频世界模型,能够通过单张图像或文本提示支持实时交互式场景探索。该系统引入了一种隐式 3D 感知记忆机制,利用特殊的记忆编码器将历史视频帧和摄像机姿态压缩为紧凑的表示,从而在长视野探索中保持极高的视觉一致性。此外,结合姿态引导的记忆读取与快速金字塔蒸馏技术,该模型在保证精确的摄像机控制和场景结构还原的同时,实现了流畅的流式生成。实验表明,该方法在重访一致性和摄像机控制精度方面均显著优于现有的同类模型。

WorldCrafter 是一种创新的视频世界模型,能够通过单张图像或文本提示支持实时交互式场景探索。该系统引入了一种隐式 3D 感知记忆机制,利用特殊的记忆编码器将历史视频帧和摄像机姿态压缩为紧凑的表示,从而在长视野探索中保持极高的视觉一致性。此外,结合姿态引导的记忆读取与快速金字塔蒸馏技术,该模型在保证精确的摄像机控制和场景结构还原的同时,实现了流畅的流式生成。实验表明,该方法在重访一致性和摄像机控制精度方面均显著优于现有的同类模型。