超分论文综述（ DualCNN，Deep SR-ITM ，DSGAN）

论文来源：

[1] Pan, J., Liu, S., Sun, D., Zhang, J., Liu, Y., Ren, J., ... & Yang, M. H. (2018). Learning dual  convolutional neural networks for low-level vision. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 3070-3079).

[2] Kim S Y, Oh J, Kim M. Deep SR-ITM: Joint Learning of Super-resolution and Inverse Tone-Mapping for 4K UHD HDR Applications[J]. arXiv preprint arXiv:1904.11176, 2019.

[3] Fritsche M, Gu S, Timofte R. Frequency Separation for Real-World Super-Resolution[J]. arXiv preprint arXiv:1911.07850, 2019.

---

DualCNN

概述：总的来说就是将structure和details分开训练，在最后整合。

主要的特点：在于由S,D,以及S和D相加重构除的最终结果与实际标签之间的loss，总的来说就是在loss函数上做出了一些创新。

                                                            

---

Deep SR-ITM

概述：联合super-resolution（SR）和inverse tone-mapping（ITM），恢复高频细节for SR， 恢复局部对比度for ITM。

Hard：

1、LR图像因为分辨率降低高频细节会丢失；

2、在SDR图像中，与HDR图像相比，对比度和局部细节的局部变化会随着信号范围（幅值）的减小而丢失。

主要目标是恢复细节和对比度，增加空间分辨率和信号幅值。

颜色色域必须从BT.709扩展到BT.2020，每位深度从8 bits/pixel增加至10 bits/pixel。这里似乎是存在的，因为在之前的重建图像中，重建图像亮度是与GT相比是暗一些。

                                            

                                   渲染处理管道的比较。SDR到HDR视频格式之间的(a)线性域，(b)像素域预测方法

                     

---

DSGAN

DSGAN在小规模按比例缩小的图像中引入自然图像特征。可以在HR图像上以无监督的方式对其进行训练，从而生成具有与原始图像相同特征的LR图像。提高了其在现实世界图像上的性能。此外，将低图像频率和高图像频率分开，并在训练期间对其进行不同的处理。由于低频通过下采样操作得以保留，仅对抗训练即可修改高频。

                  

可视化的结构下采样设置。B为双三次降阶方法，紫色区域为高、低通滤波器。红色三角形表示损失函数，橙色区域表示神经网络。

引入自然图像特征，将低频和高频分开低频通过下采样操作得以保留。

重点：Loss

颜色损失：迫使网络保持的原始图像低频和一个敌对损失，使产生的高频看起来更像源图像。

感知损失：将输出推向看起来类似于输入图像解决办法。

另一方面，诸如色彩之类的低图像频率被保留到一定程度，这取决于缩小因子。通过将对抗损失限制为高频，我们大大降低了任务的复杂性。这有助于鉴别器将注意力集中在相关的图像特征上，而使其他特征保持不变。

                                            

我们将多个损失函数合并到训练模型中。生成器损失包括三种不同的损失:颜色损失I_(col,d)，感知损失I_(per,d)和纹理损失I_(tex,d)，这是一种对抗性损失。

色彩损失集中在图像的低频上。由于我们不想改变x_b的低频率，我们对这些频率施加L_1损失以使它们接近输入。

                                             

---