Wav2Lip视频人脸口型同步(Win10)

最近比较火的一个AI场景,就是用原声讲外语,嘴型同步,网上找了些资料,今天也跑起来了,推荐 Wav2Lip,官网地址:Github Wav2Lip

环境准备

  • Python3.6
  • ffmpeg
  • git clone https://github.com/Rudrabha/Wav2Lip.git
  • pip install -r requirements.txt
  • 下载人脸检测模型,并放在路径 face_detection/detection/sfd/s3fd.pth
  • Wav2Lip模型下载,放到路径 checkpoints/wav2lip.pth

上述步骤中涉及到下载地址的,直接访问官网首页对应链接即可下载

安装异常排查

opencv 安装异常

requirements.txt 中的 opencv-contrib-python>=4.2.0.34 修改为 opencv-contrib-python==4.2.0.34

pytorch 1.1.0 安装异常

直接进 pytorch 官网,用官网的方法安装 https://pytorch.org/get-started/previous-versions/#v110

视频demo

直接用官方的视频demo,进入 https://bhaasha.iiit.ac.in/lipsync/ 这个地址,里面的三个视频可以直接下载使用

音频生成

推荐这个网站,很好用 https://www.text-to-speech.cn/

运行命令

python inference.py --checkpoint_path ./checkpoints/wav2lip.pth --face D:/Ekoz/Items/QiuBao/dictator_orig.mp4 --audio D:/Ekoz/Items/QiuBao/output.wav
最终合成的视频,在 results 目录下

你可能感兴趣的:(音视频)