模型架构¶

VoxCPM 采用 无分词器、扩散自回归 架构，在连续潜空间而非离散 token 上建模语音。本页先说明 VoxCPM 系列共通的高层设计，再概括 VoxCPM 2 引入的主要架构改进。

概览¶

与将语音转为离散 token 的主流 TTS 不同，VoxCPM 采用端到端架构，从文本 直接生成连续语音表示。系统以 MiniCPM-4 为骨干，结合分层语言建模与 FSQ 约束的连续潜变量，将高层语义规划与低层声学渲染分离开来。

在 VoxCPM 1.0、1.5 与 2 上，系列共用同一条高层生成路径：

文本 → 四阶段生成流水线 → AudioVAE 解码器 → 波形

生成主干分为四个阶段：

#	阶段	说明
1	Local Encoder	将输入音频分块（patch）编码为紧凑的局部表示；把连续音频帧组成 patch，以缩短语言模型需要处理的有效序列长度。
2	Text-Semantic LM	基于 MiniCPM-4 的因果语言模型，联合处理文本 token 与音频嵌入以捕捉高层语义意图。该阶段负责「说什么」——依据文本内容规划韵律、节奏与重音。
3	Residual Acoustic LM	融合语义层与声学层信息，建模细粒度声学细节；在文本语义规划与最终音频生成之间起到衔接作用。
4	Local DiT (CFM)	以 LM 输出为条件的条件流匹配（CFM）扩散 Transformer，生成连续音频潜变量；在每个自回归步输出高保真语音 patch。

生成的潜变量再由 AudioVAE 解码为原始波形。AudioVAE 是围绕生成骨干的配套编解码组件：训练时提供潜表示，推理时将预测的潜变量还原为波形采样。

跨版本演进中，编解码层从 VoxCPM 1.x 的对称 audio VAE，发展为 VoxCPM 2 的 AudioVAE V2：采用非对称 16kHz 编码 → 48kHz 解码，并带采样率条件。

VoxCPM 的共享架构由三项设计选择共同塑造：

若需按版本选择模型与迁移指引，请参阅版本历史。

VoxCPM 2 保持四阶段整体结构不变，但重新设计了若干内部信息流路径。这些改动很重要：它们说明了为何在不改变系统整体理解方式的前提下，VoxCPM 2 能提升表现力、可控性与输出质量。

在 VoxCPM 1.x 中，Residual Acoustic LM 通过相加的方式融合语义 LM 输出与局部声学特征。VoxCPM 2 则改为 先拼接，再经可学习投影。

这使模型能更自由地决定语义意图与声学证据如何交互，而不必通过逐元素加法强行压入同一表示。在实践中，这有助于更丰富的声学细节与更强的表现力。

Local DiT 是在每个音频 patch 内工作的扩散 Transformer。VoxCPM 2 不再使用单一早期融合条件信号，而是向 DiT 提供来自语义与声学路径的 多 token 条件前缀。

这样在 DiT 内部为注意力保留更多信息，减轻过早融合导致的信息坍缩；最终声学生成阶段也因此更具表现力与可控性。

VoxCPM 1.x 主要通过 prompt 续写支持声音克隆。VoxCPM 2 增加 结构隔离的参考音频通路，将音色参考与续写上下文分开。

这一架构变化使「仅参考」克隆行为更强，也更容易将声线身份控制与其他生成模式结合。

AudioVAE V2 不只是更高采样率的解码器。其非对称编解码设计在保持语言模型侧序列高效的同时，仍能直接输出 48kHz。

这是关键的架构改进：在不必同比拉长序列长度、也不必单独上采样级的前提下提升输出保真度。