打字凭空造音色,克隆任何嗓音——开源语音模型 VoxCPM2 来了

2026-08-24 15:39:57    行业资讯   

面壁智能开源 2B 语音模型:30 种语言、9 种方言、音色设计、声音克隆全都有,AIGCPanel 上一键开跑

VoxCPM2 是面壁智能(OpenBMB)联合清华大学人机交互实验室开源的最新语音合成模型,20 亿参数,在超过 200 万小时的多语种音频上训练。它绕开了传统 TTS 的"音频分词"环节,直接生成连续语音表征,听起来很技术,但用起来只有三步:打字、选音色(或直接描述一个音色)、生成。以前想要一个专属声音,要么花钱请人录,要么在几百个预设音色里挑挑拣拣;现在,打一句话就够了。

VoxCPM2 模型架构

一、30 种语言 + 9 种中文方言,一个模型说遍全世界

  • 用户视角:输入日语、俄语、阿拉伯语,直接输出对应语言语音,不用手动加语言标签;四川话、粤语、东北话、河南话也能说。
  • 技术视角:模型自动识别文本语言并切换发音,30 种语言覆盖欧洲、东南亚、中东主流语种。
  • 证据:官方 README 明确列出全部支持语言与方言清单。

二、不用参考音频,用文字"凭空捏造"一个声音

  • 用户视角:在文本前加一句"(年轻女性,声音温柔甜美)",就能创造出一个世界上不存在于任何人的全新声音。
  • 技术视角:音色设计能力,自然语言描述映射到连续音色空间,无需任何参考音频。
  • 证据:官方 Python API 示例一行代码即可触发。

三、5-10 秒参考音频,克隆任何嗓音

  • 用户视角:给一段干净清晰的声音,克隆音色;再附上参考文本,还能进入"极致克隆"模式,连语气、停顿、节奏都跟着还原。
  • 技术视角:可控声音克隆(参考音频 + 可选风格指令)+ 音频续写式极致克隆,两种克隆方式并存。
  • 证据:官方 clone / prompt-audio 命令行示例。

四、48kHz 高保真输出,开源免费商用

  • 用户视角:拿到手的是 48kHz 高音质音频,NVIDIA RTX 4090 上可以实时合成(RTF ~0.3),显存占用约 8GB,一张消费级显卡就带得动。
  • 技术视角:AudioVAE V2 非对称编解码 + 扩散自回归四阶段架构(LocEnc→TSLM→RALM→LocDiT),原生输出 48kHz。
  • 证据:README 性能评测表与架构文档;Apache-2.0 协议,权重代码全部开源,免费商用。

一个开源模型,多语言、造音色、克隆声音全占了,还免费商用——这组合一年前想都不敢想。

五、怕配环境?AIGCPanel 一键运行包,下载即用

  • 用户视角:不装 CUDA、不配 Python 环境、不敲命令行,下载 AIGCPanel 桌面软件,在模型市场找到 VoxCPM2,点下载,双击开跑,Windows / macOS / Linux 全平台都有。
  • 技术视角:AIGCPanel 是开源的一站式 AI 数字人桌面应用,把大模型封装成"一键运行包",自动管理依赖、显卡与启动流程,背后还提供 25+ 音视频工具箱、数字人合成与智能直播能力。
  • 直连入口:VoxCPM2 模型一键运行包(免费)已上架模型市场,直达 👉 aigcpanel.com/zh/asset
  • 顺带一提:模型市场里还有 IndexTTS2、Qwen3TTS、CosyVoice 3、GPT-SoVITS 等一堆语音模型,一个软件全都能玩。

VoxCPM Logo

还能怎么玩

  • 生产部署:官方 vLLM-Omni 原生支持 VoxCPM2,提供 OpenAI 兼容 API;Nano-vLLM 高吞吐推理,RTF 低至 ~0.13;llama.cpp-omni 支持端侧 GGUF 运行。
  • 快速微调:5-10 分钟音频数据即可做 LoRA 微调,适配特定说话人或垂直领域。
  • 家族迭代:VoxCPM-0.5B 拿过 HuggingFace Trending 第一,VoxCPM1.5 拿过 GitHub Trending 第一,如今迭代到 VoxCPM2,社区热度一直在线。

一点提醒

  • 评测上 Seed-TTS-eval 英文 WER 低至 1.84%,中文 0.97%,内部 30 语种 ASR 平均错误率仅 1.68%,多语言表现属于第一梯队。
  • 声音克隆请勿用于冒充他人或造假,生成内容记得标注来源。

想亲手试试"凭空造音色"吗?打开 AIGCPanel 模型市场,找到 VoxCPM2,五分钟内你就能听到一个世界上从未存在过的声音——如果让你来造,你会设计一个什么样的声音?欢迎在评论区晒出你的创意。最酷的不是模型能做什么,而是你用它,创造出了这个世界上第一个属于你的声音。

语言
QQ
微信客服
微信群
客服