【论文阅读】ICCV2021|超分辨重建论文整理和阅读

本文主要对ICCV2021中超分辨率重建相关论文进行整理与阅读。

---

1. Learning A Single Network for Scale-Arbitrary Super-Resolution

Paper: https://arxiv.org/pdf/2004.03791.pdf
Code: https://github.com/The-Learning

本论文聚焦于非整数尺度和非对称的SR问题，如上采样1.5x2.5倍，宽和高上采样的尺度不同，并使用单一网络实现scale-arbitrary SR。本论文主要有两个特点：1）本工作在文中讨论了不同尺度之间的“特征相似性”这一现象，并指明相似性高的特征可以被直接用来任意尺度的SR，相似性低的特征调整后用于特定的尺度。对此，提出Scale-Aware Feature Adaption模块对特征进行调整，调整的方式类似于attention；2）提出Scale-aware Upsampling模块，实现任意非整数尺度的上采样。该模块其实类似于bicubic插值，只不过插值所用的权重是用网络结合尺度学习得到，而bicubic采用的是固定的方式。

---

2. Achieving On-Mobile Real-Time Super-Resolution With Neural Architecture and Pruning Search

Paper: https://arxiv.org/abs/2108.0891

本论文提出了一种结合神经网络架构搜索（Neural Architecture Search）和剪枝搜索（Pruning Search）的能够在移动手机上实时运行的SR方法。在Samsung Galaxy S20手机上，针对720p分辨率的图像上采样，速度为20 FPS (x2/x3)、25FPS(x4)。

---

3. Designing a Practical Degradation Model for Deep Blind Image Super-Resolution

Paper: https://arxiv.org/abs/2103.14006
Code: https://github.com/cszn/BSRGAN

本论文定义了一种手工设计的广义盲图像超分退化模型。之前很多工作都是基于简单既定的退化模型（如bicubic，或者是blur+bicubic等），本论文则主要考虑了三种复杂的情况，包括模糊（各向同性高斯模糊和各向异性高斯模糊）、降采样（nearest、bilinear、bicubic以及up-down scaling）和噪声（3D高斯噪声、JPEG噪声、相机噪声），并随机打乱模糊，降采样和噪声的顺序。利用设定的退化模型得到的HR/LR训练数据集对ESRGAN进行训练，得到更能够适应于真实数据的模型。本方法简单有效，示例效果也很好（见官方代码页面）。

参考：论文一作张凯大神知乎文章《一种手工设计的广义盲图像超分退化模型》

---

4. Unsupervised Real-World Super-Resolution: A Domain Adaptation Perspective

Paper Link

本论文主要从领域自适应（Domain Adaption）的角度来解决Unpaired SR的问题，利用对抗学习的方式，来学习domain-invariant features。损失函数就用了一些列的对抗损失和L1损失。

---

5. Mutual Affine Network for Spatially Variant Kernel Estimation in Blind Image Super-Resolution

Paper: https://arxiv.org/pdf/2108.05302.pdf
Code: https://github.com/JingyunLiang

本论文针对的是blind SR问题。之前的blind SR方法通常假设模糊核在整幅图像都是不变的，本文指出真实图像的模糊核在空间中通常都是变化的，并对应地提出了MANet用于估计不同的模糊核。MANet的主要特点就是通过挖掘通道之间的依赖关系，在不增加感受野、模型规模和计算开销的情况下，提升模型的特征表达能力。

---

6. Learning Frequency-aware Dynamic Network for Efficient Super-Resolution

Paper: https://arxiv.org/abs/2103.08357

本论文关注于提出一种高效的SR模型。论文指出图像中具有高频部分和低频部分，自然地针对高频部分应该分配更多的网络计算量，而低频部分计算量就较少。对此，提出一种frequency-aware dynamic network，利用离散余弦变换（DCT）将图像分为高频、中频和低频三种分量，然后赋予不同的计算开销。实验说明该网络能保持精度的条件下，减少50%的FLOPs。

---

7. Dynamic High-Pass Filtering and Multi-Spectral Attention for Image Super-Resolution

Paper Link
Code: https://github.com/sabdelmagid/

本论文致力于提升常规SR方法的重建精度，出发点是提出一种方法使得高频信息能够在网络中得到有效传递。在网络中引入两个模块1）dynamic high-pass filtering layer， 卷积核是动态学到的，并且不同的空间位置对应不同的卷积核；2）matrix multi-spectral channel attention 将特征通过DCT变换到频率域，去学习通道注意力。本方法在整体重建精度上取得了SOTA的结果。

---

8. Context Reasoning Attention Network for Image Super-Resolution

Paper Link

本论文是受Context-Gated Convolution (@ECCV2020)这个工作启发，提出了Context Reasoning Attention Network (CRAN)，核心是利用global context信息去动态地调整卷积核，其中进行调整的时候会利用空间维和通道维的信息，本质也就是attention。

其他参考

ICCV 2021超分辨率（super-resolution）方向上接收论文总结