2026 年 6 月，由清华 OpenBMB 团队推出的 VoxCPM2 正式开源，凭借 2B 参数、Tokenizer-Free 端到端扩散自回归架构、30 种全球语言 + 9 类中文方言、原生 48kHz 高保真音质，成为当前开源语音合成赛道综合能力顶尖的商用友好型 TTS 方案。项目采用 Apache-2.0 开源协议，无商用版权限制，一经发布便收获超 2.3 万 GitHub Star，为内容创作、多语言产品、语音交互等领域提供轻量化高性能语音生成新选择。
一、核心架构革新：摒弃离散 Token，还原完整语音细节
传统 TTS 普遍采用 “文本 - 离散 Token - 声学模型 - 声码器” 流水线，语音转 Token 过程会产生量化损耗，丢失细微音色、韵律特征，最终合成音频生硬、机械感强。
VoxCPM2 彻底重构生成链路，采用Tokenizer-Free 扩散自回归架构，省去离散 Token 转换环节：文本直接送入主干网络，输出连续语音表征，再通过自研 AudioVAE V2 解码器生成 48kHz 波形。
配套 AudioVAE V2 非对称编码方案兼顾实用性与音质：输入支持 16kHz 普通录音设备素材，解码端原生输出 48kHz 工作室级高清音频，内置语音超分辨率能力，无需额外外挂升频工具，完整保留语气起伏、气声、轻重读等真人语音细节，韵律自然度与声音表现力大幅领先传统分段式 TTS。
模型以 MiniCPM-4 作为骨干网络，训练数据规模达到 200 万 + 小时多语言语音素材，相比前代版本实现量级跨越；整体仅 2B 参数量，平衡性能与部署门槛，兼顾本地单机测试与线上规模化服务。
二、三大王牌语音能力，覆盖全场景音色定制需求
1. 纯文本声音设计（Voice Design）
行业突破性功能，无需任何参考音频，仅依靠自然语言描述即可从零生成全新专属音色。开发者可自由控制性别、年龄、声线厚度、情绪、语速、气场等维度，一键打造品牌专属虚拟主播、旁白音色。
示例调用逻辑：输入播报文本，搭配英文音色描述，模型直接输出匹配人设的完整音频，无需真人录音素材，大幅降低有声书、短视频、播客的配音成本。
2. 可控音色克隆（Controllable Cloning）
上传一段简短真人参考音频完成音色复刻，同时支持叠加风格指令，灵活切换播报情绪。例如提取新闻主播原声后，可通过指令调整为严肃紧急、温和科普、轻松闲聊等多种表达风格，适用于短视频配音、智能新闻播报、企业语音导航等高频场景。
3. 无损完整音色复刻（Ultimate Cloning）
继承 VoxCPM1.5 核心能力，同步上传参考音频与对应文字脚本，模型可高度还原原始人声全部细节，包括独特发音节奏、细微情绪、个人声纹特征，无缝接续完成长文本合成。该能力可用于语音障碍人群个性化语音重建、真人有声作品续录等精细化需求。
三、超强多语言覆盖：30 国语言 + 9 大中文方言，自动识别免标签
VoxCPM2 实现跨语种无障碍合成，原生支持 30 门全球主流语言，覆盖阿拉伯语、英语、法语、德语、日语、韩语、俄语、西班牙语、泰语、越南语等全球通用语种；同时深度适配国内需求，内置四川话、粤语、吴语、东北话、河南话、陕西话、山东话、天津话、闽南话 9 种中文方言。
模型内置语种自动识别机制，输入多语种混合文本无需手动标注语言标签，自动匹配对应发音规则，一站式支撑跨境 APP、多语种客服、海外短视频内容生产等全球化业务。
四、高性能推理：低延迟加速方案，满足实时交互需求
模型推理速度以 RTF 实时率作为衡量标准，数值小于 1 代表生成速度快于音频播放速度，硬件实测表现如下：
- NVIDIA RTX 4090 原生推理：RTF 约 0.3，1 秒音频仅需 0.3 秒生成；
- 搭配 vLLM-Omni 加速引擎：RTF 降至 0.13，生成 1 秒音频仅 0.13 秒，完全满足实时语音对话、智能助手低延迟交互需求。
vLLM-Omni 为官方适配的多模态推理框架，搭载 PagedAttention 优化，同时提供兼容 OpenAI 标准的 API 接口，企业可快速对接现有业务系统，无需大幅改造开发流程。
五、极简部署流程，本地调试与线上服务双方案
1. 本地快速测试
仅一行命令完成环境安装：
pip install voxcpm导入模型后输入文本、音色参数即可生成音频，搭配 soundfile 库直接导出 wav 格式文件，支持自定义扩散推理步数、CFG 权重调节音色稳定度，新手可快速完成音色调试。
2. 生产级线上服务
依托 vLLM-Omni 搭建后端服务，启动命令极简；通过标准 curl 请求调用音频生成接口，JSON 参数可自定义合成文本、音色风格描述，适配小程序、APP、网页端等多终端业务接入。
六、三代版本迭代对比：VoxCPM2 实现全方位升级
| 模型版本 | 参数规模 | 训练数据 | 语言支持 | 核心升级亮点 |
|---|---|---|---|---|
| VoxCPM-0.5B | 0.5B | 约 5 万小时 | 中英双语 | 2025 年首发，登顶 HuggingFace 热门榜单 |
| VoxCPM1.5 | 1.5B | 约 5 万小时 | 中英双语 | 支持 LoRA 微调、基础音色克隆 |
| VoxCPM2 | 2B | 200 万 + 小时 | 30 国语言 + 9 种方言 | 文本造音、可控克隆、原生 48kHz 高保真 |
相较前代，VoxCPM2 完成跨越式升级：训练数据扩容 40 倍，语种覆盖从 2 种拓展至近 40 种语音体系，音质从 16kHz 升级至专业 48kHz，新增独家文本声音设计功能，补齐商用场景全部核心能力短板。
七、多元落地场景，适配个人创作者与企业服务
- 内容创作赛道：播客、有声书、短视频 AI 配音，通过文字设计独一无二虚拟人声，省去声优签约、录音棚成本；
- 全球化互联网产品：跨境 APP、多语言客服机器人，单模型覆盖海内外多语种语音播报；
- 智能语音硬件：车载语音助手、智能家居交互，低 RTF 推理保障对话流畅无卡顿；
- 品牌声音体系搭建：打造企业专属标志性声线，统一线下播报、线上短视频、客服语音听觉形象；
- 无障碍辅助应用：为失声人群复刻个人原生语音，重建个性化语音沟通渠道。
八、项目配套生态与使用局限
完整开源生态资源
- GitHub 项目地址：https://github.com/OpenBMB/VoxCPM
- 在线体验 ：https://www.yuntts.com/voxcpm-tts
- 完整开发文档：[voxcpm.readthedocs.io](voxcpm.readthedocs.io)
- 模型权重托管：HuggingFace 开源仓库，可一键下载加载
现存使用短板
模型推理对高端 GPU 存在依赖，推荐部署硬件为 RTX 4090；未搭载 vLLM 加速时，大规模批量音频生成硬件成本偏高。不过 vLLM-Omni 加速方案已大幅压缩推理耗时，配合标准化 API，中小团队、企业级产品落地具备可行性。
结语
在开源语音合成领域，VoxCPM2 凭借无 Token 化先进架构、独有的文本造音能力、全覆盖多语言方言、48kHz 高清音质与宽松商用协议，构建起综合优势。对于独立内容创作者、出海产品团队、语音交互研发人员而言，该模型是现阶段开源 TTS 中功能最完备、落地门槛均衡的优质方案，也代表国内开源语音大模型在多语言、高自然度合成赛道达到新高度。
评论(0)