Stable Diffusion控制人物脸部和手的方法

“ 目前Stable Diffusion在人体姿态控制方面已经取得了比较稳定的效果，但是在人脸和手部姿势的控制上还没有很好的解决，经常会出现崩手和崩脸的情况。”

01

—

After Detailer解决崩脸的问题

    After Detailer是sd的一个扩展，类似于Detection  Detailer，不同的是它用ultralytics代替了mmdet。

  首先我们启动SD，然后再扩展界面，选择从网址https://github.com/Bing-su/adetailer.git安装此扩展，然后重启UI

    然后我们用国风3生成图片如图

面部图像不是很完美，有一点崩脸的情况，然后我们再开启ADetailer,

选择模型face_yolov8n.pt，然后提示词用detailed face,生成图像如下，脸部有了明显的改善，但是崩手的问题依然没有解决，没关系，接着往下看，我们尝试不同的方法来解决这个问题

02

—

崩手问题解决

第一种方法我们用embedding模型，在C站上有很多模型，比如

我们下载模型然后将模型放在embedding目录下，然后在负面提示中加入negative_hand-neg，然后生成图像，对比上面崩手的问题有了明显的改善

第二种方法我们用LyCORIS模型来解决，LyCORIS和LORA差不多，都是微调模型，C站上同样也有，我们下载如图这个模型，然后放到LyCORIS文件夹

然后在提示词中加入  ，生成如下图片，崩手问题也得到了很好的解决

第三种方法，我们用controlnet来进行手势控制

将崩手的图片拖到controlNET unit0，然后点击进行预览，预览图如下图所示

然后点击编辑预览图

这里需要注意的是，如果点编辑报错，需要安装openpose editor，点击不同的部位，比如左手，右手进行编辑，编辑完成后发送到ControlNet

再次文生图，得到如下效果

看上去效果有改善，但还需要进一步微调

上面介绍的三种解决崩手的方法，可以用一种，也可以多种方法同时启用，只要能够效率的解决问题即可。

有SD出图崩手和崩脸困扰的朋友，也来一起试试吧