VoxCPM2 是由面壁智能、OpenBMB 开源社区联合清华大学人机语音交互实验室推出的新一代语音生成模型,凭借独特的端到端生成方案,在音色创作、声音复刻、多语言多方言语音合成等方面具备突出能力,为创作者与开发者提供一套自由度很高的 AI 语音解决方案。
核心功能
文本描述生成音色(文字造声)
这是 VoxCPM2 极具特色的能力,无需提供参考音频。使用者只用自然语言描述想要的声音特征,模型就能生成全新的专属声线。你可以描述年龄、性别、音色质感、情绪风格、说话气质,例如“沉稳儒雅的中年男声”“元气轻快的少女音”,再搭配朗读文本,直接生成符合描述的语音。
这项能力摆脱了传统 TTS 只能选用固定音色库的限制,非常适合原创角色配音、故事旁白、定制化音频内容创作。
可控声音克隆
只需要一段几秒的简短参考音频,就可以复刻目标音色。和很多简单复刻工具不同,它支持灵活调整生成语音的语速、停顿、情绪节奏,在保留原声特征的基础上朗读任意新文本。
同时支持高精度克隆模式,搭配参考音频对应的文字脚本,能够更好还原说话人的语气习惯、换气节奏,拟真效果更强。
多语言、多方言合成
模型原生支持大量外语以及多种中文方言,包括粤语、四川话、东北话、吴语等。输入文本后可自动识别语种,无需手动指定语言标签,直接输出对应语言或方言的语音,方便制作多语种教学音频、方言短视频、本地化配音内容。
通用文本转语音
具备稳定成熟的基础 TTS 能力,支持长文本朗读,输出语音流畅自然,适配有声书、播客、稿件旁白等长内容场景。
核心特色
无 Tokenizer 端到端扩散自回归架构
主流很多语音模型会先把音频转换成离散音频 token,这个过程容易丢失细腻的声学细节。VoxCPM2 采用无音频分词器的设计,直接对连续声学信息进行建模,结合扩散自回归的生成方式,保留人声里自然的语调起伏、呼吸感与细微情绪变化,减少机械朗读感。
48kHz 高保真音质
原生支持 48kHz 采样率输出,相比常见 24kHz 的合成语音,声音细节更丰富、底噪更低,达到较高的音质水准,能够满足有声作品、动画配音、虚拟人音频等偏生产级的使用需求。
部署友好,开源可商用
模型规模为 2B 参数,对硬件要求比较友好,消费级显卡即可本地推理,开发者可以独立部署,不依赖外部封闭 API。模型采用宽松开源协议,支持商业落地,降低了中小团队搭建语音相关产品的开发门槛。
具备语义理解与情绪表现力
模型可以理解文本内容,根据上下文自动匹配合适的语气:抒情文本柔和舒缓,剧本对白富有张力,可适配散文、小说、台词、科普讲解等多种文体,提升语音内容的感染力。
典型应用场景
VoxCPM2 的能力覆盖个人创作与产品开发两大方向:有声读物批量制作、游戏和动画角色配音、虚拟人语音驱动、短视频旁白、方言内容制作、多语种学习音频、品牌配音等。普通创作者可以快速产出音频素材,开发者也可以基于模型做二次开发、微调,搭建属于自己的语音服务。
总结
VoxCPM2 拓展了开源语音合成的能力边界,把自然语言描述生成音色、高保真可控克隆、多语言多方言能力整合在同一个模型中。它兼顾音质、自由度与落地可行性,让高质量、个性化的 AI 语音生成不再有很高的门槛,是开源语音领域一款实用性很强的模型。


评论(0)