【AI】文本转语音 变声 音色克隆 数字人音视频口型同步AI应用

文本转语音

项目地址:https://github.com/coqui-ai/TTS

环境安装:

  1. 下载项目;
  2. 安装Python,安装项目依赖:
pip install TTS
1. 下载安装AI模型:

https://github.com/facebookresearch/fairseq/tree/main/examples/mms

模型文件放到:C:\Users\Administrator\AppData\Local\tts

2. 将文本转换为语音:

tts --text “要转换的文本内容” --model_name “指定语音模型” --out_path .\outFile.wav 

语音模型可通过命令tts –list_models列出

示例(使用中文语音模型):

tts --text "你好,中文。" --model_name "tts_models/zh-CN/baker/tacotron2-DDC-GST" --out_path .\test.wav
3. 自定义人声:

就是给定一段语音,生成语音的音色就会与给定语音相似。也就是自定义人声。

自定义人声需要依赖xtts模型,下载地址:https://huggingface.co/coqui/XTTS-v2/tree/main

也可以通过以下命令行下载:

git lfs install
git clone https://huggingface.co/coqui/XTTS-v2

 下载的模型文件必须放到特定文件夹:C:\Users\Administrator\AppData\Local\tts\tts_models--multilingual--multi-dataset--xtts_v2

 使用以下命令生成自定义人声的语音:

tts --model_name tts_models/multilingual/multi-dataset/xtts_v2 --language_idx zh-cn --speaker_wav ./out/output.wav --text "感谢榜一大哥,王思春送来的一发火箭。" --out_path ./out/ai_output.wav

语音转语音(变声)

项目地址:https://github.com/voicepaw/so-vits-svc-fork

1. 环境安装:
  1. 下载项目;
  2. 安装依赖:pip install –r requirements.txt
  3. 下载语音模型:

https://huggingface.co/models?search=so-vits-svc

https://civitai.com/?query=so-vits-svc

模型存放目录结构configs/模型文件.pth;configs/44k/config.json

2. 使用方法:

1. GUI使用:

命令: svc gui打开UI界面

【AI】文本转语音 变声 音色克隆 数字人音视频口型同步AI应用_第1张图片

选择模型文件、模型配置文件、原语音文件wav;

点击Infer按钮生成语音文件;

2. 使用命令行:

svc infer C:\Users\Administrator\Desktop\test.wav -m "C:\Users\Administrator\Desktop\configs"

视频同步语音口型

项目地址:https://github.com/OpenTalker/video-retalking

1. 环境安装:
  1. 下载项目;
  2. 安装conda:Index of /anaconda/miniconda/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror
  3. 使用conda创建python环境:

conda create -n video_retalking python=3.8

conda activate video_retalking

  1. 安装依赖:

conda install ffmpeg

pip install -r requirements.txt
  1. AI模型下载:https://drive.google.com/drive/folders/18rhjMpxK8LVVxf7PI6XwOidt8Vouv_H0?usp=share_link

在项目工程下新建checkpoints文件夹并将模型全部文件放入文件夹;

2. 使用方法:
.\inference --face 3.mp4 --audio D:\Workspace\TTS-0.21.3\test.wav --outfile C:\Users\Administrator\Desktop\out_3.mp4

你可能感兴趣的:(AI应用,人工智能,音视频,AI变声,音视频合成,数字人,TTS)