Incremental Transformer Structure EnhancedImage Inpainting with Masking Positional Encoding笔记

摘要：

近年来，图像修复取得了重大进展。然而，恢复具有生动纹理和合理结构的损坏图像仍然具有挑战性。由于卷积神经网络 （CNN） 的感受野有限，一些特定方法只能处理常规纹理，同时失去整体结构。另一方面，基于注意力的模型可以更好地学习结构恢复的长程依赖性，但它们受到大图像尺寸推理的大量计算的限制。为了解决这些问题，我们建议利用一个额外的结构恢复器来促进图像的增量修复。所提出的模型在固定的低分辨率草图空间中，通过强大的基于注意力的转换器模型恢复整体图像结构。这样的灰度空间很容易被上采样到更大的比例，以传达正确的结构信息。我们的结构恢复器可以通过零初始化残差添加有效地与其他预训练修复模型集成。此外，利用掩蔽位置编码策略来提高大型不规则掩码的性能。在各种数据集上进行的广泛实验验证了我们的模型与其他竞争对手相比的有效性

代码https://github.com/DQiaole/ZITS_inpainting

解决问