Skip to content
Sign in
Artwork for 每日AI
每日AI · Yesterday · 22 min

Kandinsky 6.0 Video: 用于同步生成视频与音频的基础模型

Kandinsky 6.0 Video 是一个用于同步视频和音频生成的基础扩散模型系列，提供不同参数规模的 Lite (3B) 和 Pro (29B) 版本。该模型通过采用双流 CrossDiT 架构，能够利用双向交叉注意力机制实现时间与语义上的对齐，并支持文本到音视频 (T2AV) 以及图像到音视频 (I2AV) 的生成模式。为了提升模型的整体质量与实用性，其训练流程涵盖了持续预训练、监督微调、基于强化学习的后训练以及蒸馏阶段。此外，该系统还集成了超分辨率模型，能够将生成的短片画质提升至 Full-HD 分辨率。该项目已在开源社区发布了相关的代码、模型权重以及集成工具，旨在推动多媒体生成技术的公开研究。

0:00-22:57
Play in

transcript

No transcript — this publisher did not publish one.

show notes

Kandinsky 6.0 Video 是一个用于同步视频和音频生成的基础扩散模型系列，提供不同参数规模的 Lite (3B) 和 Pro (29B) 版本。该模型通过采用双流 CrossDiT 架构，能够利用双向交叉注意力机制实现时间与语义上的对齐，并支持文本到音视频 (T2AV) 以及图像到音视频 (I2AV) 的生成模式。为了提升模型的整体质量与实用性，其训练流程涵盖了持续预训练、监督微调、基于强化学习的后训练以及蒸馏阶段。此外，该系统还集成了超分辨率模型，能够将生成的短片画质提升至 Full-HD 分辨率。该项目已在开源社区发布了相关的代码、模型权重以及集成工具，旨在推动多媒体生成技术的公开研究。

more episodes

All episodes