项目分享|ChatTTS：专为对话场景打造的生成式语音模型

引言

在人工智能与自然语言处理飞速发展的当下，高质量的语音合成技术成为人机交互领域的重要支撑。ChatTTS作为一款专为对话场景设计的文本转语音模型，凭借其在对话适配、韵律控制等方面的突出表现，受到广泛关注。本文将全面介绍这一项目，带您深入了解其特性与价值。

项目概况

ChatTTS是一款针对LLM助手等对话场景优化的文本-to-语音模型，目前已支持英语和中文两种语言。其核心模型基于10万+小时的中英音频数据训练，开源版本（可在HuggingFace获取）为4万小时预训练模型（无SFT），主要面向学术研究使用。

项目提供了便捷的使用方式，支持通过WebUI界面操作或命令行调用，同时提供PyPI安装包及GitHub源码安装选项，方便开发者快速部署。此外，社区维护的Awesome-ChatTTS索引库还收录了丰富的扩展端用户产品，为用户提供更多应用参考。

创新亮点与核心优势

ChatTTS的核心竞争力体现在以下几方面：

1. 对话场景优化：专为对话任务设计，支持多说话人切换，能模拟自然流畅的交互式对话，让语音合成更贴近真实交流场景。

2. 细粒度控制能力：可预测并控制韵律细节，包括笑声（[laugh]）、停顿（[uv_break]、[lbreak]）、语气词等，通过特殊标记即可在文本中精准插入控制指令。

3. 出色的韵律表现：在韵律自然度上超越多数开源TTS模型，提供预训练模型支持进一步研究与开发，同时实现了流式音频生成，提升实时交互体验。

技术原理与部署指南

技术架构

ChatTTS采用 autoregressive 风格的系统设计，借鉴了bark、valle等模型的优势，结合GVQ作为音频tokenizer（参考fish-speech），并使用vocos作为预训练声码器，构建了高效的语音合成 pipeline。模型支持通过采样高斯分布生成随机说话人特征（spk_emb），实现多样化音色输出。

安装部署

1. 环境准备：

   • 直接通过pip安装：pip install ChatTTS（稳定版）或pip install git+https://github.com/2noise/ChatTTS（最新版）
   • 基于conda创建环境：conda create -n chattts python=3.11，激活后安装依赖

2. 基础使用示例：

importChatTTSimporttorchimporttorchaudio chat=ChatTTS.Chat()chat.load(compile=False)texts=["欢迎体验ChatTTS","这是一个对话式语音合成模型"]wavs=chat.infer(texts)# 保存音频torchaudio.save("output.wav",torch.from_numpy(wavs[0]).unsqueeze(0),24000)

3. 高级控制：支持自定义说话人、温度参数（temperature）、top_P/top_K解码策略，以及通过文本标记手动控制韵律细节。

硬件要求

生成30秒音频需至少4GB GPU显存，4090显卡生成速度约为7语义token/秒，实时因子（RTF）约0.3，满足多数场景的实时性需求。

该项目及相关内容已在AladdinEdu课题广场同步发布，欢迎前往了解更多技术实现与资源。

项目地址：AladdinEdu课题广场