数字人克隆中SyncTalk算法介绍与部署过程

SyncTalk算法介绍

SyncTalk合成同步的头部说话视频，采用三平面哈希表示来保持主体身份。它可以生成同步的嘴唇动作、面部表情和稳定的头部姿势，并恢复头发细节以创建高分辨率视频。

部署

在Linux中部署该项目，在 Ubuntu 18.04、Pytorch 1.12.1 和 CUDA 11.3 上测试。
 

git clone https://github.com/ZiqiaoPeng/SyncTalk.git 
cd SyncTalk

安装依赖项

conda 创建-n synctalk python == 3.8.8 
conda 激活 synctalk 
pip安装torch == 1.12.1+cu113 torchvision == 0.13.1+cu113 torchaudio == 0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113 
pip安装 -r requirements.txt 
pip安装 --no-index  --no-cache-dir pytorch3d -f https://dl.fbaipublicfiles.com/pytorch3d/packaging/wheels/py38_cu113_pyt1121/download.html 
pip安装tensorflow-gpu == 2.8.1 
pip安装./freqencoder 
pip安装./shencoder 
pip安装./gridencoder 
pip安装./raymarching

如果在安装PyTorch3D时遇到问题，可以使用以下命令进行安装：

python./scripts/install_pytorch3d.py

数据准备

预训练模型

请将May.zip放在数据文件夹中，将trial may.zip放在模型文件夹中，然后解压它们。

[新] 处理您的视频

        ⦁    准备人脸解析模型。

wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_