MusicMagus：基于扩散模型，实现文本精准编辑音乐片段

音乐生成技术一直是一个迷人的领域，将创造力与技术相结合，产生与人类情感共鸣的作品。这个过程涉及生成与通过文本描述传达的特定主题或情感相符的音乐。尽管从文本中生成音乐取得了显著进展，但一个重要的挑战仍然存在:如何编辑生成的音乐，以改进或修改特定元素而不必从头开始。这项任务涉及对音乐属性进行精细调整，如更改乐器的声音或整体情绪，而不影响其核心结构。

模型主要分为自回归（AR）和基于扩散的类别。AR模型在推理时间较长的代价下产生更长、更高质量的音频，而扩散模型在生成扩展序列方面表现卓越，尽管存在一些挑战。创新的MagNet模型合并了AR和扩散的优势，优化了质量和效率。MusicMagus通过借助先进的扩散模型，实现对特定音乐属性的精确修改，同时保持原始构成的完整性。

MusicMagus通过复杂的方法和对数据集的创新使用展示了其卓越的音乐编辑和细化能力。该系统的支柱是基于AudioLDM2模型的，该模型利用变分自动编码器（VAE）框架将音乐音频谱图压缩到潜在空间。然后，通过操作这个空间来生成或编辑基于文本描述的音乐，弥合了文本输入和音乐输出之间的差距。MusicMagus的编辑机制利用预训练的扩散模型的潜在能力，这是一种显著提高编辑准确性和灵活性的新方法。

研究人员进行了大量实验证明了MusicMagus的有效性，包括音色和风格转移等关键任务，将其性能与AudioLDM2、Transplayer和MusicGen等已建立的基线进行比较。

这些比较分析以使用CLAP相似性和Chromagram相似性等指标进行客观评估，以及使用整体质量（OVL）、相关性(REL)和结构一致性(CON)等指标进行主观评估。结果显示MusicMagus在CLAP相似性得分上提高了0.33，Chromagram相似性为0.77，表明在保持音乐语义完整性和结构一致性方面取得了显著进展。在这些实验中使用的数据集，包括用于音色转移任务的POP909和MAESTRO，在展示MusicMagus在改变音乐语义的能力方面起到了至关重要的作用，同时保留原始构成的精髓。

MusicMagus引入了一种先进的文本到音乐编辑框架，能够在保持构成完整性的同时操纵特定的音乐方面。尽管它在处理多乐器音乐生成、可编辑性与保真度权衡以及在进行重大更改时保持结构方面面临一些挑战，但它标志着音乐编辑技术的重大进步。尽管在处理长序列方面存在一些局限性，并且受限于16kHz的采样率，但MusicMagus在风格和音色转移方面取得了显著进展，展示了其创新的音乐编辑方法。

论文地址 https://arxiv.org/abs/2402.06178