NVIDIA - PixelUMM：像素统一多模态模型 纯像素统一AI理解与生成

PixelUMM 是一种新型的无编码器统一多模态模型，能够在像素空间直接处理图像和视频的理解与生成任务。该模型通过空间补丁和时空管块连接原始像素与共享的多模态骨干网络，从而避开了传统方法中复杂且占用大量显存的视觉编码器或变分自编码器。其核心采用Transformer混合架构，将共享的注意力机制与针对不同任务的独立参数相结合，并使用广义因果注意力模式和像素级流匹配进行联合训练。实验证明，该框架在各项图像及视频处理任务中均取得了极具竞争力的性能，为未来的像素级统一多模态系统设计提供了重要参考。