背景痛点：CPU 推理的“慢”与“卡”
第一次把 ChatTTS 跑通时，我兴冲冲地敲下一行文字，结果等了 12 秒才听到第一句语音。CPU 占用直接飙到 90%，风扇狂转，隔壁同事还以为我在挖矿。
实测 24 核 Xeon 上，单句 20 字音频生成平均耗时 8-10 s，并发一高，系统负载立刻爆表。瓶颈主要来自两点：
- 自回归 Transformer 解码，每一步都要把整段隐状态重新算一遍，计算密度大。
- ChatTTS 默认用 float32 精度，参数量 600 M+，内存带宽瞬间吃紧。
一句话总结：CPU 能跑，但体验“幻灯片”，根本扛不住实时业务。
技术选型：CUDA、ROCm、DirectML 怎么挑
GPU 方案看似多，真正能在自家机器上点亮的不多，先画个表：
| 方案 | 适用系统 | 最低显卡 | 易用度 | 备注 |
|---|---|---|---|---|
| CUDA | Win/Linux | GTX10 系以上 | ★★★☆ | 社区轮子最全，驱动版本需匹配 |
| ROCm | Linux | AMD MI/Radeon | ★★☆ | 仅 Ubuntu22.04 官方支持，PyTorch 夜版 |
| DirectML | Win10+ | 任意 DX12 卡 | ★★★★ | 一行代码就能切，但性能≈0.7×CUDA |
结论：
- 主力 Linux 服务器直接上 CUDA，稳。
- Windows 开发机若只有 A 卡，可尝鲜 DirectML，十分钟搞定。
- ROCm 适合公司统一 AMD 硬件栈，否则别给自己加戏。
环境配置：让 PyTorch 找到显卡
整个流程我拆成 7 张便利贴，贴屏幕上一次过踩完坑。
- 驱动先行——CUDA12.1 需要 ≥ 535 版本，用
nvidia-smi能看到驱动号才算成功。 - 装 CUDA Toolkit，但不必全局污染，conda 里
cudatoolkit=12.1就够。 - 创建独立环境：
conda create -n chatts_gpu python=3.10 -y conda activate chatts_gpu- 装 GPU 版 PyTorch（以 CUDA12.1 为例）：
pip install torch==2.1.0+cu121 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121- 验证能否调 GPU：
import torch print(torch.cuda.is_available(), torch.cuda.get_device_name(0))- 安装 ChatTTS 本体：
pip install ChatTTS- 下载预训练权重到本地
./checkpoints，避免每次from_pretrained都去拉取 2 G 流量。
完整代码：从模型加载到显存释放
下面这段脚本把“加载-推理-清理”全包圆，跑完显存立即归还，适合后台服务反复调用。
# chatts_gpu.py import ChatTTS import torch import soundfile as sf def load_model(): """加载模型并迁到 GPU，返回 chat 对象""" chat = ChatTTS.Chat() chat.load(compile=False, device='cuda') # 关键行 return chat def infer(chat, text: str, output_path: str): """单句推理，保存为 24 kHz WAV""" texts = [text] wavs = chat.infer(texts, use_decoder=True) sf.write(output_path, wavs[0], 24000) print(f'已生成：{output_path}') def release(): """清缓存+释放显存，防泄漏""" torch.cuda.empty_cache() if __name__ == '__main__': chat = load_model() infer(chat, 'GPU 加速真香，再也不用等 10 秒了。', 'demo.wav') release()运行前export CUDA_VISIBLE_DEVICES=0可指定卡；Windows 在 PowerShell 用$env:CUDA_VISIBLE_DEVICES=0。
性能优化：batch 与 fp16 双剑合璧
- batch 测试
固定 20 字句子，在 RTX3060-12G 上循环 100 次取平均：
| batch | 平均延迟/句 | 吞吐句/s | 显存占用 |
|---|---|---|---|
| 1 | 1.05 s | 0.95 | 3.1 G |
| 4 | 0.42 s | 9.5 | 5.8 G |
| 8 | 0.31 s | 25.8 | 8.9 G |
| 16 | OOM | — | >12 G |
结论：日常 4-8 句一捆最划算，再大就爆显存。
- 混合精度
在chat.infer前加一行：
with torch.cuda.amp.autocast(dtype=torch.float16): wavs = chat.infer(texts, use_decoder=True)- 速度再提 25%，显存省 30%，主观听感 MOS 分掉 0.15，可接受。
- 注意：GTX16 系列没有 Tensor Core，收益会打折。
避坑指南：版本冲突与 OOM 自救
CUDA 版本冲突
报错CUDA capability sm_86 is not supported十有八九是 PyTorch 与驱动错位。
解决：- 用
nvcc --version查 Toolkit，用pip show torch看 build 号，确保后缀一致。 - 若系统自带 CUDA11 不想动，直接拉 Docker：
docker run --gpus all -it pytorch/pytorch:2.1.0-cuda12.1-cudnn8-devel
- 用
显存不足 fallback
生产环境不能崩，于是写个自动降级：
def try_infer(chat, texts): try: with torch.cuda.amp.autocast(dtype=torch.float16): return chat.infer(texts) except RuntimeError as e: if 'out of memory' in str(e): torch.cuda.empty_cache() chat = chat.to('cpu') # 迁回 CPU return chat.infer(texts) raise- 中文路径
ChatTTS 内部用librosa写临时文件，Windows 中文用户名会炸。
解决：在项目根目录设置TEMP=./tmp，再启动程序。
延伸思考：ONNX Runtime 值得吗？
把模型导成 ONNX 看似能脱离 PyTorch 生态，实测一圈发现：
- 目前官方没有提供 ChatTMS 专用 ONNX 流，需要自写 traced graph，300+ 算子里有 20 个 unsupported。
- 即使强制导出，也要回退到 CPU 算子，速度反而慢 30%。
- DirectML 后端在 ONNX Runtime 1.16 刚支持 GPT-2 类结构，但语音 MelDecoder 部分依旧黑箱。
结论：
ChatTTS 还处在“PyTorch 原生最快”阶段，ONNX 适合部署边缘小模型，TTS 这块再等等。真要做极致压缩，可调研torch.compile+tensorrt方案，能把 8-bit 量化和流解码一起吃掉，只是工程量翻倍。
小结与个人碎碎念
一路踩坑下来，GPU 加速让 ChatTTS 从“能用”变成“好用”：
同样 20 字句子，CPU 要 9 s，RTX3060 只要 0.3 s，吞吐量翻了 25 倍，风扇还更安静。
调优的核心其实就是三把斧：驱动对齐、batch 折中、fp16 放手开。
剩下的都是工程细节——缓存、降级、日志、监控，哪个环节偷懒，线上就会教做人。
如果你也在用 ChatTTS 做实时配音、数字人播报，不妨按这份笔记试一轮，欢迎回来交流更快的新玩法。
