Distillation-guided Image Inpainting 论文阅读笔记

• 这是ICCV 的文章，但我只是随便读一下，记录一些可能以后会参考的机制

• 网络结构图如下：
  

• 主要就是用了两个网络，参考了知识蒸馏中教师-学生网络的方式，用完整图像encoder-decoder重建过程中的特征图来监督inpainting过程，我觉得这个过程非常有参考价值，可以用到很多其它领域。

• 第二个重点就是网络的监督形式。网络采取两种蒸馏监督，一种是上面的修复网络利用自身后面的特征来监督前面的特征；一种是利用下面的重建网络的特征来监督上面的修复网络的特征。

  • 但并非直接利用特征算差来监督。重建网络的特征会经过一个小的卷积网络转换一下后再和特征网络的特征算差。此外还利用了一个全连接神经网络加softmax来对不同通道的差进行重新加权，以选取更重要的通道，有点类似通道注意力机制（但我持怀疑态度，这个注意力随着训练会呈现什么样的情况还需要仔细考虑）。这部分的公式如下：
  • 
  • 其中M是inpainting任务中的mask，来仅对修复区域算损失。
  • 而利用后面的特征监督前面的特征也用了相同的机制，由于前后特征维度不匹配，f 涉及了下采样过程：
  • 
  • 这里的ρ并没有与网络同步训练，因为一起训练就是我所怀疑的那样，注意力在这些监督中是训练不到的，反而会给差距大的通道小的ρ，延缓训练的收敛。网络和ρ是分步训练的，训练ρ的过程中并不计算这些特征差损失，只计算inpainting损失，这样就说得通了。

• 第三个重点是，文章认为inpainting网络的encoder layer需要同时完成两件事情：从没有被消除的区域提取有效信息；以及填充空洞。为了使这两件事情解耦，作者用了一个CB块来单独完成填充空洞工作：

• 

• 注意这里用到了adative convolution，意思是对每个位置生成一个卷积核去卷积。

• 后面的以后有时间再看，未完待续