transcript
show notes
几何原生自编码器（GAE），这是一个将多层几何特征重新参数化为紧凑潜空间的共享基础，旨在统一视觉感知的几何结构与生成模型的表观表现。通过在冻结的几何编码器与稠密预测头之间引入学习瓶颈，并结合标记级语义对齐和空间关系匹配，该编码器能够同时输出真实感图像、深度、相机姿态和点云。在相同的扩散Transformer架构下，与传统的像素、语义和原生几何潜在空间相比，GAE在图像质量、三维一致性以及相机轨迹控制方面均有显著提升。此外，该方法通过纯净参考条件标记、度量Plücker射线编码和文本联合训练，有效避免了训练与推理的不匹配，实现了高质量的长序列三维世界生成。
