前言说明
VoxCPM 2 是由 OpenBMB 推出的开源 2B 参数多语言语音基座模型,摒弃传统分词器设计,原生融合语音生成、音色描述定制、可控音色克隆能力,支持 30 门语言以及 9 种中文方言,最高输出 48kHz 高质量音频。它打通了文本到语音的端到端建模路径,兼顾音色可控性、多语言泛化能力与推理效率,可用于 TTS 合成、个性化音色复刻、语音内容创作等各类语音生成场景,云声配音提供了VoxCPM 2 在线语音合成的工具。
这份文档整理自 VoxCPM 2 官方 Cookbook(最佳实践页)。与讲参数和 API 的 Usage Guide 不同,这一页侧重“怎么写才能得到想要的效果”。全文围绕两条主线展开:先把文本准备对(目标语言、地道方言、非语言标签),再把声音设定对(文字描述造声、参考音频克隆),最后汇总成可直接照做的使用要点。
一句话结论:文本阶段尽量干净,控制阶段尽量集中——语言和方言靠正文本身表达,声音的身份、质感、场景揉进一条 Control Instruction,比堆砌多个控制项更稳定。
Step 1:先准备文本内容
多语种输入
VoxCPM 2 的输入语言范围比前代更广,多数情况下直接用目标语言写出要合成的文本即可,通常不必额外添加语言标签。先用干净的目标语言正文起步,确有需要再叠加控制项。
官方列举的代表性语言覆盖三个区域:
- 亚洲:中文、日语、韩语、印地语、泰语、越南语、印尼语、马来语、他加禄语、高棉语、老挝语、缅甸语
- 欧洲与美洲:英语、法语、德语、西班牙语、意大利语、俄语、葡萄牙语、荷兰语、波兰语、瑞典语、丹麦语、芬兰语、挪威语、希腊语
- 中东与非洲:阿拉伯语、土耳其语、希伯来语、斯瓦希里语
中文方言
方言场景的核心不是“给模型打上方言标记”,而是把正文写成地道方言。官方的判断很明确:始终用真实当地方言书写,效果最佳。下表是官方给出的对照示例,可直接作为改写参考。
| 方言 | 地道方言示例 | 普通话对应说法 |
|---|---|---|
| 粤语 | 伙計,唔該一個A餐,凍奶茶少甜! | 伙计,麻烦来一个A餐,冰奶茶少糖! |
| 四川话 | 幺儿,哈戳戳得你屋头来噶! | 孩子,你怎么跑到家里来了! |
| 东北话 | 你搁这整啥玩意儿呢? | 你在这儿干什么? |
| 河南话 | 恁这是弄啥嘞?晌午吃啥饭? | 你这是在干什么呢?中午吃什么饭? |
除上表四种,川话、吴语、陕西话、山东话、天津话、闽南语等也都在可尝试范围内。落地时注意三点:
- 用地道说法代替标准语硬套。想效果自然,正文直接写成方言里常见的表达,参考上表示例。
- 不会写方言就先改写正文。可以先用文本工具把普通话改写成自然方言版本,再送进模型。
- 控制指令保持简单。Control Instruction 里写方言名即可(例如
Cantonese),额外堆太多音色描述反而可能拉低效果。
非语言标签
想让合成语音少一点机械感,可以在目标文本里直接插入非语言标签。建议统一使用英文方括号标签,例如 [laughing] 或 [sigh]。
| 类别 | 推荐标签 |
|---|---|
| 笑与叹息 | [laughing]、[sigh] |
| 停顿与思考 | [Uhm]、[Shh] |
| 疑问语气 | [Question-ah]、[Question-ei]、[Question-en]、[Question-oh] |
| 情绪 | [Surprise-wa]、[Surprise-yo]、[Dissatisfaction-hnn] |
使用限制:尽量只用上表推荐标签并控制数量。像 [laughing] 这样的全小写形式通常比 [Laughter] 一类变体更稳定,也不要在同一句话里叠加多个标签。标签的作用是加气口、笑声或迟疑,点到为止。
Step 2:设定声音风格
仅用文本生成声音(Voice Design)
没有参考音频也能生成声音:用文字描述即可。实用写法是把不同要素合并进一条完整的 Control Instruction,中英文指令都支持。可描述的三类要素如下。
| 要素 | 说明 | 示例 |
|---|---|---|
| 身份设定 | 性别、年龄、身份等核心设定 | middle-aged male broadcaster、elderly woman |
| 声音质感 | 音质与音高 | low-pitched、raspy、magnetic |
| 表达状态 | 情绪、节奏与场景 | passionate、shouting campaign slogans、historical narration |
把三类要素串成一句话,就得到下面的官方示例组合。
播音风格:热情洋溢的中年男性播音员,声音较为低沉,富有磁性与感染力,带着逐渐密集的节奏感呼喊宣讲口号
历史旁白(英文提示词):A quiet, raspy, elderly woman of a low-pitched voice with a distinct, grainy texture and subtle breathy tremors. Delivers a slow tone at a very low volume, perfect for historical narration.
需要注意,模型本身带有一定随机性,同样一条描述每次生成都可能存在细微差异,多试几次再筛选结果。
声音克隆
要复现某个具体音色,可以上传或录制一段参考音频,模型会提取其中的音色特征完成克隆。两条实用贴士:
- 至少准备 5 秒参考音频。素材越干净、越稳定,克隆效果通常越好。
- 克隆同样可以加风格控制。在保留音色的前提下,通过 Control Instruction 调整情绪、语速和表达方式,例如
speaking very fast, bright and full。
能力边界:单靠克隆不能任意改变说话人的身份。这个功能更适合以原始音色为基底,调整情绪、语速与说话方式,而不是凭空把一个人替换成另一个人。
使用要点
- 先直接写清楚目标语言的正文,确有需要时再补充额外控制。
- 方言场景用地道方言重写正文,不要用标准普通话硬套。
- 非语言标签点到为止,用来加气口、笑声或迟疑。
- 做 Voice Design 时,把身份、质感与场景揉进一条 prompt。
- 做克隆时,先准备 5 秒以上的干净参考音频,再逐步加入风格控制。
generate() 的精确参数与代码示例,请查阅官方 Usage Guide(使用指南);方言音字、标签拼写等细节也建议以官方文档为准。来源:VoxCPM 2 官方文档「最佳实践」页面。


评论(0)