Skip to content
Artwork for 每日AI
每日AI · Friday · 19 min

Princeton等:跨拓扑骨骼动画的统一生成模型 文本驱动任意3D骨骼动画

为了解决现有动作生成模型受限于特定骨骼拓扑结构或需要繁琐测试时优化的难题,研究人员开发了 UniMate 这一统一的动画基础模型。该模型能够仅凭带骨骼的3D资产和文本提示,为任意骨骼拓扑结构直接合成流畅自然的动作。为了支持跨拓扑的有效训练,团队构建了包含超过一万三千条动作序列的 UniML3D 数据集,涵盖了从生物到机器人的多样化形态。此外,UniMate 核心引入了拓扑感知扩散变压器(TADiT),通过图感知注意力偏置、Spec-RoPE 谱旋转位置编码以及全局拓扑调节器,完美实现了骨骼结构与动态动作的联合推理。在无需重新训练或微调的情况下,该模型不仅在生成质量上超越了现有方法,还零样本支持了动作迁移、补帧、扩展以及文本驱动编辑等多种下游任务。

0:00-19:08

transcript

No transcript — this publisher did not publish one.

show notes

为了解决现有动作生成模型受限于特定骨骼拓扑结构或需要繁琐测试时优化的难题,研究人员开发了 UniMate 这一统一的动画基础模型。该模型能够仅凭带骨骼的3D资产和文本提示,为任意骨骼拓扑结构直接合成流畅自然的动作。为了支持跨拓扑的有效训练,团队构建了包含超过一万三千条动作序列的 UniML3D 数据集,涵盖了从生物到机器人的多样化形态。此外,UniMate 核心引入了拓扑感知扩散变压器(TADiT),通过图感知注意力偏置、Spec-RoPE 谱旋转位置编码以及全局拓扑调节器,完美实现了骨骼结构与动态动作的联合推理。在无需重新训练或微调的情况下,该模型不仅在生成质量上超越了现有方法,还零样本支持了动作迁移、补帧、扩展以及文本驱动编辑等多种下游任务。