《Real Image Denoising Based on Multi-Scale Residual Dense Block and Cascaded U-Net》论文阅读

Real Image Denoising Based on Multi-Scale Residual Dense Block and Cascaded U-Net with Block-Connection

一、论文

摘要：受益于最近的真实图像数据集，基于学习的方法在真实图像降噪方面取得了良好的性能。 为了进一步提高Bayer原始数据去噪的性能，本文介绍了两个新网络，即多尺度残差密集网络（MRDN）和带块连接的多尺度残差级联U-Net（MCU-Net）。 这两个网络都基于新设计的多尺度残差密集块（MRDB），MCU-Net使用MRDB连接U-Net的编码器和解码器。 为了更好地利用图像的多尺度特征，MRDB基于残差密集块（RDB）添加了无空间金字塔金字塔池（ASPP）的另一个分支。 与跳过连接相比，使用MRDB的块连接可以自适应地转换编码器的特征，并将其传递给U-Net的解码器。 另外，引入了一种新颖的噪声置换算法来避免模型过度拟合。 这些新网络在消除拜耳图像中的噪声方面的卓越性能已通过SIDD基准上的比较结果得到了证明，并且在“ NTIRE 2020真实图像去噪挑战-Track1：rawRGB”中，SSIM排名第一。

二、网络结构

对于深度学习，已在此研究主题中提出并测试了许多架构和技术[17] [26]。 大多数最新的真实图像去噪网络可以分为两种结构：残差结构和编码器-解码器结构。 残差结构主要通过在输入特征上处理不同的神经块来利用空间特征，而编解码器结构主要集中在不同尺度上的处理特征。 诸如DnCNN [9]，IrCNN [22]和RIDNet [23]之类的残差类型方法[19] [21]专注于学习真实图像和噪声图像之间的差异。 编码器-解码器结构可以进一步分为三种类型：U-Net [25]，向下缩放网络[26]和双域网络[3]。  U-Net遵循其原始设计，使用多个下采样和上采样来捕获多尺度特征。 向下扩展的网络只有一个向下采样和一个向上采样，并且依赖于复杂的骨干网络来还原信息。与空间域中的前两个结构不同，双域网络利用多个U-Net来利用空间域和频域中的功能。 即使已经提出了许多不同的编码器-解码器结构，但尚未充分探索级联的U-Net结构。

 并且还提出了一种真实图像噪声估计的一种方法，增强数据，防止模型过拟合。

数据增强是帮助神经网络避免过度拟合问题的有效技术。 常用的亮度/对比度/饱和度抖动会改变实际噪点图像的噪声特性，因此在图像降噪时应避免使用。 此外，由于拜耳数据的特殊特性，不能直接利用其他可应用的图像增强，例如图像翻转/旋转。 这些传统的数据增强将由于增强后的Bayer模式不匹配而生成低质量的图像[30]。 为了解决这个问题，提出了Bayer扩充[30]，只考虑了内容扩充。 但是，噪声分集与内容分集同样重要。 因此，一些研究人员开发了基于学习的方法，包括cERGAN生成器[26]和噪声流[31]。 与这两种为无噪声图像生成人为噪声的方法不同，本文介绍了一种新的数据置换方法，以利用真实噪声图像中的真实噪声。 通过改变真实噪声的空间分布，可以生成更多具有真实内容和噪声的训练样本。

如图4所示，该方法的第一步是通过从其对应的噪声图像中减去地面图像来生成噪声图像数据。 对于噪声数据，噪声聚类过程会根据其对应的地面真实强度值将数据分为簇。 然后，在每个簇中，执行随机置换以交换那些噪声的位置。 排列后，将生成一个新的合成噪声图像，并将其添加回其相应的地面图像，以生成一个新的合成噪声图像。

 这种噪声置换的优点包括：1）它不会基于某些统计噪声模型引入人工噪声；  2）在适当的N下很大程度上保留了rawRGB空间中噪声的信号依赖性。  3）对于给定的真实图像，它提供了更多具有不同近真实噪声图像的训练样本。 因此，该方法在避免模型过度拟合中显示出了好处。

三、代码目前好像还没有公布（待补充）