LabHub

博客

SOTA 音乐·音频生成分析 — 神经编解码器与生成模型

2026-06-30 · 13 分钟阅读 · #ai-papers#audio-generation#music-generation#neural-codec#audio-language-model#generative-ai

한국어English日本語中文

引言 — 声音生成的独特难题

在文本、图像、视频生成日趋成熟的同时，音频与音乐生成也在快速发展。音频有其独特的挑战。它是由每秒数万个采样点组成的长序列，而人耳对细微的失真也很敏感。本文从音频表示方式出发，经神经编解码器、自回归音频语言模型，一直到基于扩散的音频，以谱系为中心梳理 SOTA 音乐·音频生成的共通原理。

这个领域也在快速变化。以下内容以广为人知的概念·论文·架构系列为基准，不对特定商用模型的具体规格或排名做断言。

音频表示: 该建模什么

音频生成的第一个问题是"该预测什么"。表示方式不同，模型结构也会大不相同。

波形(waveform)

最原始的表示是随时间变化的振幅值序列，即波形。以 44.1kHz 音频为例，1 秒内有 44100 个采样点。直接预测波形的方式质量上限高，但序列极长，建模困难。

波形: 时间 -->  ...-0.2, 0.1, 0.4, 0.3, -0.1, -0.5...  (每秒数万个采样点)

频谱图(spectrogram)

将波形切分为短片段并转换为频率成分的表示方式。因为可以像时间-频率二维图像那样处理，容易借用图像生成技法。不过需要一个把频谱图还原回波形的步骤(声码器)。

频谱图: 纵轴=频率, 横轴=时间, 值=强度 (当作图像处理)
        --> [声码器] --> 波形

神经编解码器(neural codec)

近期 SOTA 的核心是神经编解码器。它是把音频压缩为少量离散 token(discrete token)序列的神经网络。代表性的有 SoundStream 和 EnCodec 系列。

核心是 残差向量量化(residual vector quantization, RVQ)。将音频通过多阶段码本做分层量化，用较短的 token 序列也能装下较高的音质。

[波形] --编码器--> [连续表示] --RVQ 量化--> [离散 token 序列]
                                                     |
[波形] <--解码器-- [连续表示] <--反量化-- [离散 token 序列]

RVQ 层级:
 第1阶段码本 --> 残差 --> 第2阶段码本 --> 残差 --> ... (精度累积)

神经编解码器的离散 token 非常适合语言模型处理。因为可以像预测文本 token 一样预测音频 token。这座桥梁推动了音频语言模型的兴起。

自回归音频语言模型

思路

一旦把音频转换为离散 token，就可以像语言模型一样用"下一个 token 预测"来生成音频。AudioLM 系列提出了这一方法。它像语言模型一样把音频 token 自回归地拼接起来，生成自然的声音。

AudioLM 系列常常同时使用两种 token。语义(semantic)token 承载长期结构与内容，声学(acoustic)token 承载细腻的音色·音质。这是一种先确定大体结构、再填充细节声学的分层生成方式。

[语义 token 预测] --> 曲目的大体走向/结构
        |
[声学 token 预测] --> 细腻的音色/质感 (神经编解码器 token)
        |
   [编解码器解码器] --> 波形

MusicGen 系列

MusicGen(arXiv 2306.05284)是用单一 Transformer 语言模型处理文本条件音乐生成的代表案例。它在 EnCodec 编解码器 token 之上做自回归生成，同时采用一种高效排布多个 RVQ 层 token 的方式(码本交织，codebook interleaving)。它以文本描述或旋律为条件生成音乐。

[文本提示] --文本编码器--> [条件嵌入]
                                        |
[编解码器 token 序列] --自回归 Transformer--> [下一个编解码器 token 预测]
                                        |
                                  [EnCodec 解码器] --> 音乐波形

自回归方式的优点是可以直接复用语言模型的基础设施。缺点是 token 需要逐个顺序生成，在长音频上可能较慢。

基于扩散的音频

另一条主线是扩散模型。像图像扩散一样，向音频(主要是频谱图或潜在表示)混入噪声，再把它还原回来的方式进行生成。

[纯噪声] --> [扩散骨干网络: U-Net 或 DiT] --反复去噪--> [音频潜在表示/频谱图]
                                                                        |
                                                          [解码器/声码器] --> 波形

扩散方式的优点是并行地对整体进行细化，因此不像自回归那样有明显的顺序瓶颈。最近在音频领域也出现了使用 flow matching / rectified flow 系列的趋势。自回归与扩散并非互斥，会根据情况混合或选用。

文本-音乐条件化

要用文本控制音乐，需要把文本描述嵌入并注入到生成过程中。原理与图像·视频相同。

[文本/旋律条件] --> [条件嵌入]
                             |
[生成骨干网络(AR 或扩散)] <-- 条件注入
                             |
                    [编解码器/声码器] --> 音乐

商用与研究(以概念为中心)

在研究方面，AudioLM、MusicGen、EnCodec、SoundStream 等为公开的思路奠定了基础。在商用方面，据了解存在 Suno、Udio 这类服务，据评价它们在歌曲(含人声)生成上展现出令人印象深刻的质量。不过由于商用模型的内部结构大多未公开，本文只讨论已公开的架构系列的原理。

共通观察到的方向如下。(1)用神经编解码器把音频做离散 token 化，(2)用自回归或扩散生成 token/潜在表示，(3)以文本·旋律为条件，(4)用编解码器解码器或声码器还原波形。具体性能与排名会因提示词·风格·评估方式而有很大差异，因此这里不做断言。

比较表: 按方法整理

维度自回归音频 LM基于扩散的音频
表示编解码器离散 token频谱图/潜在表示
生成方式下一个 token 预测(顺序)反复去噪(并行)
代表系列AudioLM, MusicGen频谱图/潜在扩散
强项复用语言模型基础设施缓解顺序瓶颈
弱项长音频可能较慢依赖声码器/解码器质量
条件化条件 token/交叉注意力交叉注意力

表中数值是各系列的一般性倾向，可能与具体模型配置不同。

整体流水线示意图

[文本提示] (+ 旋律/参考音频)
        |
 [文本编码器]
        |
 [条件嵌入] ---------------------+
                                    |
 [生成骨干网络]                     |
   - 自回归: 编解码器 token 顺序预测 <--+
   - 或扩散: 潜在表示/频谱图去噪
        |
 [神经编解码器解码器 / 声码器]
        |
   [最终音频波形]

评估

音频生成的评估主观性很强。

著作权与伦理争议

音乐·音频生成在著作权与伦理方面的争议尤为尖锐。

除了技术性能之外，这些争议本身就是商用化的核心制约因素，也是社会讨论的对象。

优点

局限与未解决的问题

实务上的启示

结语

音乐·音频生成 SOTA 的共通基础可以概括为"神经编解码器 token 化 + 自回归或扩散生成 + 文本·旋律条件化"。EnCodec/SoundStream 架起了表示层面的桥梁，AudioLM/MusicGen 开启了语言模型式的生成，扩散系列则提出了并行的替代方案。商用服务的排名与细节会快速变化，但理解了这些原理，就能迅速把握新模型的结构。

参考资料

评论

还没有评论。

登录后即可发表评论