# ext-to-speech|tts|voice-cloning|AIGC|多模态#【有图文部署】GPT-SoVits:上线一周就获得了4.1k star!效果炸裂的开源跨语言音色克隆模型!

一周前,RVC变声器创始人(GitHub昵称:RVC-Boss)发布了一款新项目,名为GPT-SoVITS。这个项目一上线就受到了互联网大佬和博主的好评推荐,仅仅在不到一周的时间里,就已经在GitHub上积累了4.1k Star。

据说,该项目是RVC-Boss与Rcell(AI音色转换技术Sovits的开发者)共同研究,历时半年,期间克服了许多困难,最终推出了这款全新的低成本易用的音色克隆工具。

接下来,让我们一起来看看这款新型音色克隆工具RVC-Boss有何特别之处吧!

# ext-to-speech|tts|voice-cloning|AIGC|多模态#【有图文部署】GPT-SoVits:上线一周就获得了4.1k star!效果炸裂的开源跨语言音色克隆模型!_第1张图片

项目介绍

GPT-SoVITS 是一款强大的支持少量语音转换、文本到语音的音色克隆模型。支持中文、英文、日文的语音推理。

据开发者及各大博主测验,仅需提供 5 秒语音样本即可体验达到 80%~95% 像的声音克隆。若提供 1 分钟语音样本可以逼近真人的效果,且训练出高质量的 TTS 模型!

项目地址:https://github.com/RVC-Boss/GPT-SoVITS

目前已获得 4.1k Star,看到很多人对其评价为目前最强中文语音克隆工具。

# ext-to-speech|tts|voice-cloning|AIGC|多模态#【有图文部署】GPT-SoVits:上线一周就获得了4.1k star!效果炸裂的开源跨语言音色克隆模型!_第2张图片

功能:

  1. 零样本文本到语音(TTS): 输入5秒的声音样本,即刻体验文本到语音转换。

  2. 少样本TTS: 仅需1分钟的训练数据即可微调模型,提升声音相似度和真实感。

  3. 跨语言支持: 支持与训练数据集不同语言的推理,目前支持英语、日语和中文。

  4. WebUI工具: 集成工具包括声音伴奏分离、自动训练集分割、中文自动语音识别(ASR)和文本标注,协助初学者创建训练数据集和GPT/SoVITS模型。

环境准备

如果你是Windows用户(已在win>=10上测试),可以直接通过预打包文件安装。只需下载预打包文件,解压后双击go-webui.bat即可启动GPT-SoVITS-WebUI。

# ext-to-speech|tts|voice-cloning|AIGC|多模态#【有图文部署】GPT-SoVits:上线一周就获得了4.1k star!效果炸裂的开源跨语言音色克隆模型!_第3张图片
双击后就会自动弹出网页
# ext-to-speech|tts|voice-cloning|AIGC|多模态#【有图文部署】GPT-SoVits:上线一周就获得了4.1k star!效果炸裂的开源跨语言音色克隆模型!_第4张图片

Python和PyTorch版本

已在Python 3.9、PyTorch 2.0.1和CUDA 11上测试。

使用Conda快速安装

conda create -n GPTSoVits python=3.9
conda activate GPTSoVits
bash install.sh

手动安装包

Pip包
pip install torch numpy scipy tensorboard librosa==0.9.2 numba==0.56.4 pytorch-lightning gradio==3.14.0 ffmpeg-python onnxruntime tqdm cn2an pypinyin pyopenjtalk g2p_en chardet
额外要求

如果你需要中文自动语音识别(由FunASR支持),请安装:

pip install modelscope torchaudio sentencepiece funasr
FFmpeg
Conda 使用者
conda install ffmpeg
Ubuntu/Debian 使用者
sudo apt install ffmpeg
sudo apt install libsox-dev
conda install -c conda-forge 'ffmpeg<7'
MacOS 使用者
brew install ffmpeg
Windows 使用者

下载并将 ffmpeg.exe 和 ffprobe.exe 放置在 GPT-SoVITS 根目录下。
# ext-to-speech|tts|voice-cloning|AIGC|多模态#【有图文部署】GPT-SoVits:上线一周就获得了4.1k star!效果炸裂的开源跨语言音色克隆模型!_第5张图片
# ext-to-speech|tts|voice-cloning|AIGC|多模态#【有图文部署】GPT-SoVits:上线一周就获得了4.1k star!效果炸裂的开源跨语言音色克隆模型!_第6张图片

预训练模型

从 GPT-SoVITS Models 下载预训练模型,并将它们放置在 GPT_SoVITS\pretrained_models 中。

对于中文自动语音识别(另外),从 Damo ASR Model, Damo VAD Model, 和 Damo Punc Model 下载模型,并将它们放置在 tools/damo_asr/models 中。

对于UVR5(人声/伴奏分离和混响移除,另外),从 UVR5 Weights 下载模型,并将它们放置在 tools/uvr5/uvr5_weights 中。

数据集格式

文本到语音(TTS)注释 .list 文件格式:

vocal_path|speaker_name|language|text

语言字典:

  • ‘zh’: Chinese
  • ‘ja’: Japanese
  • ‘en’: English

示例:

D:\GPT-SoVITS\xxx/xxx.wav|xxx|en|I like playing Genshin.

待办事项清单

  • 高优先级:

    • 日语和英语的本地化。
    • 用户指南。
    • 日语和英语数据集微调训练。
  • Features:

    • 零样本声音转换(5秒)/ 少样本声音转换(1分钟)。
    • TTS语速控制。
    • 增强的TTS情感控制。
    • 尝试将SoVITS令牌输入更改为词汇的概率分布。
    • 改进英语和日语文本前端。
    • 开发体积小和更大的TTS模型。
    • Colab脚本。
    • 扩展训练数据集(从2k小时到10k小时)。
    • 更好的sovits基础模型(增强的音频质量)。
    • 模型混合。

总结

GPT-SoVITS 支持跨语言,集成了声音伴奏分离、自动训练集分割、中文ASR和文本标注等辅助工具。

仅需1分钟的训练数据,即可微调模型,提高语音相似性和真实感。

整体的体验还想相当不错的,希望未来应用的领域会越来越多,更新迭代会越来越完善。

你可能感兴趣的:(AIGC,多模态,tts,text2speech,vits,voice-clone,AIGC)