《Deep Learning for Image Super-resolution: A Survey》 之 Super-resolution Frameworks

本文节选自论文：Deep Learning for Image Super-resolution: A Survey

关于超分任务的一些框架总结： 

1、Pre-upsampling Super-resolution

直接将一幅图像从低维空间映射到高维空间是很困难的，因此早期的超分辨率基本使用的都是这种方法。这种方法首先通过传统上采样方法（如：bicubic等）获得一个初始的高分辨率图像（上图中灰色的 "upsample"），然后再通过神经网络去细化它，获得最终的高分辨率图像。

优点：（1）神经网络的学习任务变简单（上采样已经通过传统方法完成，神经网络只需要去细化它）。

           （2）可以进行任意尺度图像的超分（只需要先利用传统方法将原始图像上采样成最终需要的尺寸即可，神经网络的输入输出是同尺寸的）。

缺点：（1）传统上采样引入副作用（如噪声放大和模糊）。

           （2）由于一开始就将图像映射到高维空间，所以后面的神经网络的计算都是在高维空间下进行的，即增加了计算复杂度。

 

2、Post-upsampling Super-resolution 

 这种结构将 "upsample" 放在了神经网络的最后一层，这里的 “upsample”是可以通过神经网络学习的。由于上采样只在网络的最后一层进行，前面的所有操作都是在低维空间下，因此这种结构很好地降低了计算复杂度和空间复杂度。

缺点：（1）只通过一个“upsample”层进行上采样会增加神经网络学习的难度。

           （2）该网络只能进行特定尺度的超分（由“upsample”层的上采样系数决定）。

 

3、Progressive Upsampling Super-resolution

这种结构的思想是将一个复杂的问题分成几个简单的问题，一步一步地解决（如对于 x8 的超分，直接通过上采样放大到8倍会很困难，但我们可以先进行 x2 超分，接着再进行两次 x2 超分，得到最终的 x8 的结果。很多任务都可以运用这种思想，如对于一个含有噪声的图像进行超分，我们可以让网络先进行去噪任务，再进行超分任务）。同时这样的网络结构可以让我们用一个网络模型获得多种超分辨率图像（如x2，x4，x8）。

缺点：模型比较复杂，训练会相对困难

 

4、Iterative Up-and-down Sampling Super-resolution

 这种结构进行了多次的反向映射（"downsample"，将图像从高维空间映射到低维空间），能更好地挖掘 LR（低分辨率）与 HR (高分辨率) 图像之间的关系。

缺点：这种反向映射的设计准则还不够清晰，需要大量的人工设计