前言说明

VoxCPM 2 是由 OpenBMB 推出的开源 2B 参数多语言语音基座模型,摒弃传统分词器设计,原生融合语音生成、音色描述定制、可控音色克隆能力,支持 30 门语言以及 9 种中文方言,最高输出 48kHz 高质量音频。它打通了文本到语音的端到端建模路径,兼顾音色可控性、多语言泛化能力与推理效率,可用于 TTS 合成、个性化音色复刻、语音内容创作等各类语音生成场景,云声配音提供了VoxCPM 2 在线语音合成的工具。

VoxCPM 2插图

这份文档整理自 VoxCPM 2 官方 Cookbook(最佳实践页)。与讲参数和 API 的 Usage Guide 不同,这一页侧重“怎么写才能得到想要的效果”。全文围绕两条主线展开:先把文本准备对(目标语言、地道方言、非语言标签),再把声音设定对(文字描述造声、参考音频克隆),最后汇总成可直接照做的使用要点。

一句话结论:文本阶段尽量干净,控制阶段尽量集中——语言和方言靠正文本身表达,声音的身份、质感、场景揉进一条 Control Instruction,比堆砌多个控制项更稳定。

Step 1:先准备文本内容

多语种输入

VoxCPM 2 的输入语言范围比前代更广,多数情况下直接用目标语言写出要合成的文本即可,通常不必额外添加语言标签。先用干净的目标语言正文起步,确有需要再叠加控制项。

官方列举的代表性语言覆盖三个区域:

  • 亚洲:中文、日语、韩语、印地语、泰语、越南语、印尼语、马来语、他加禄语、高棉语、老挝语、缅甸语
  • 欧洲与美洲:英语、法语、德语、西班牙语、意大利语、俄语、葡萄牙语、荷兰语、波兰语、瑞典语、丹麦语、芬兰语、挪威语、希腊语
  • 中东与非洲:阿拉伯语、土耳其语、希伯来语、斯瓦希里语

中文方言

方言场景的核心不是“给模型打上方言标记”,而是把正文写成地道方言。官方的判断很明确:始终用真实当地方言书写,效果最佳。下表是官方给出的对照示例,可直接作为改写参考。

方言 地道方言示例 普通话对应说法
粤语 伙計,唔該一個A餐,凍奶茶少甜! 伙计,麻烦来一个A餐,冰奶茶少糖!
四川话 幺儿,哈戳戳得你屋头来噶! 孩子,你怎么跑到家里来了!
东北话 你搁这整啥玩意儿呢? 你在这儿干什么?
河南话 恁这是弄啥嘞?晌午吃啥饭? 你这是在干什么呢?中午吃什么饭?

除上表四种,川话、吴语、陕西话、山东话、天津话、闽南语等也都在可尝试范围内。落地时注意三点:

  • 用地道说法代替标准语硬套。想效果自然,正文直接写成方言里常见的表达,参考上表示例。
  • 不会写方言就先改写正文。可以先用文本工具把普通话改写成自然方言版本,再送进模型。
  • 控制指令保持简单。Control Instruction 里写方言名即可(例如 Cantonese),额外堆太多音色描述反而可能拉低效果。

非语言标签

想让合成语音少一点机械感,可以在目标文本里直接插入非语言标签。建议统一使用英文方括号标签,例如 [laughing] 或 [sigh]。

类别 推荐标签
笑与叹息 [laughing]、[sigh]
停顿与思考 [Uhm]、[Shh]
疑问语气 [Question-ah]、[Question-ei]、[Question-en]、[Question-oh]
情绪 [Surprise-wa]、[Surprise-yo]、[Dissatisfaction-hnn]

使用限制:尽量只用上表推荐标签并控制数量。像 [laughing] 这样的全小写形式通常比 [Laughter] 一类变体更稳定,也不要在同一句话里叠加多个标签。标签的作用是加气口、笑声或迟疑,点到为止。

Step 2:设定声音风格

仅用文本生成声音(Voice Design)

没有参考音频也能生成声音:用文字描述即可。实用写法是把不同要素合并进一条完整的 Control Instruction,中英文指令都支持。可描述的三类要素如下。

要素 说明 示例
身份设定 性别、年龄、身份等核心设定 middle-aged male broadcaster、elderly woman
声音质感 音质与音高 low-pitched、raspy、magnetic
表达状态 情绪、节奏与场景 passionate、shouting campaign slogans、historical narration

把三类要素串成一句话,就得到下面的官方示例组合。

播音风格:热情洋溢的中年男性播音员,声音较为低沉,富有磁性与感染力,带着逐渐密集的节奏感呼喊宣讲口号

历史旁白(英文提示词):A quiet, raspy, elderly woman of a low-pitched voice with a distinct, grainy texture and subtle breathy tremors. Delivers a slow tone at a very low volume, perfect for historical narration.

需要注意,模型本身带有一定随机性,同样一条描述每次生成都可能存在细微差异,多试几次再筛选结果。

声音克隆

要复现某个具体音色,可以上传或录制一段参考音频,模型会提取其中的音色特征完成克隆。两条实用贴士:

  • 至少准备 5 秒参考音频。素材越干净、越稳定,克隆效果通常越好。
  • 克隆同样可以加风格控制。在保留音色的前提下,通过 Control Instruction 调整情绪、语速和表达方式,例如 speaking very fast, bright and full。

能力边界:单靠克隆不能任意改变说话人的身份。这个功能更适合以原始音色为基底,调整情绪、语速与说话方式,而不是凭空把一个人替换成另一个人。

使用要点

  1. 先直接写清楚目标语言的正文,确有需要时再补充额外控制。
  2. 方言场景用地道方言重写正文,不要用标准普通话硬套。
  3. 非语言标签点到为止,用来加气口、笑声或迟疑。
  4. 做 Voice Design 时,把身份、质感与场景揉进一条 prompt。
  5. 做克隆时,先准备 5 秒以上的干净参考音频,再逐步加入风格控制。

generate() 的精确参数与代码示例,请查阅官方 Usage Guide(使用指南);方言音字、标签拼写等细节也建议以官方文档为准。来源:VoxCPM 2 官方文档「最佳实践」页面。

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。