Skip to content
Artwork for 每日AI
每日AI · Thursday · 15 min

YuE2:统一符号与音频的音乐生成模型 能改乐谱的AI音乐

YuE2 是一个先进的音乐生成大模型,通过符号规划(Symbolic Planning)技术,将符号化音乐创作与音频生成有机结合。该系统能够先创作包含旋律、和弦等要素的可读乐谱,随后将其转化为语义标记并生成高质量的48kHz立体声音频。为了支持该训练过程,研究人员开发了 MERT2 和 SheetSage2,分别用于提供语义特征监督和全曲乐谱转录,在多项基准测试中创下新纪录。评测结果表明,YuE2 在整体音乐质量、旋律表现以及听感上均具备极高的水准,甚至在部分指标上能够与目前领先的专有商业音乐生成系统相媲美。此外,该统一模型还原生支持乐谱编辑、零样本翻唱以及由外部语言模型驱动的智能音乐修改,展现出强大的可控性与应用潜力。

0:00-15:06

transcript

No transcript — this publisher did not publish one.

show notes

YuE2 是一个先进的音乐生成大模型,通过符号规划(Symbolic Planning)技术,将符号化音乐创作与音频生成有机结合。该系统能够先创作包含旋律、和弦等要素的可读乐谱,随后将其转化为语义标记并生成高质量的48kHz立体声音频。为了支持该训练过程,研究人员开发了 MERT2 和 SheetSage2,分别用于提供语义特征监督和全曲乐谱转录,在多项基准测试中创下新纪录。评测结果表明,YuE2 在整体音乐质量、旋律表现以及听感上均具备极高的水准,甚至在部分指标上能够与目前领先的专有商业音乐生成系统相媲美。此外,该统一模型还原生支持乐谱编辑、零样本翻唱以及由外部语言模型驱动的智能音乐修改,展现出强大的可控性与应用潜力。