cvpr2018 Learning Dual Convolutional Neural Networks for Low-Level Vision

Abstract

在本文中，我们提出了一种用于低级视觉问题的通用双卷积神经网络（DualCNN），例如超分辨率，边缘保留滤波，去除和去雾。 这些问题通常涉及估计目标信号的两个组成部分：结构和细节。 受此启发，我们提出的DualCNN由两个并行分支组成，它们分别以端到端的方式恢复结构和细节。 恢复的结构和细节可以根据每个特定应用的形成模型生成目标信号。 DualCNN是一个灵活的低级视觉任务框架，可以很容易地融入现有的CNN。 实验结果表明，DualCNN可以有效地应用于许多低级视觉任务，具有与最先进方法相比的良好性能。

1. Introduction
       现有方法基于普通神经网络或残余学习网络。 如所示，普通神经网络在许多低级视觉问题上不能胜过最先进的传统方法，例如超分辨率[33]。 低级视觉任务通常涉及两个组件的估计，低频结构和高频细节。 单个网络同时学习两个组件是一项挑战。 因此，深入了解普通神经网络并不总能带来更好的性能
       为了解决这个问题，我们提出了一种双卷积神经网络（DualCNN），它可以联合估计结构和细节。 DualCNN由两个分支组成，一个是用于估计结构的浅子网，另一个是用于估计细节的深度子网。 DualCNN的模块化设计使其成为各种低级视觉问题的灵活框架。 当端到端训练时，DualCNN对于针对每项任务专门设计的最先进方法表现出色。

2. Proposed Algorithm
       如图2所示，所提出的双模型由两个分支Net-S和Net-D的输出组成，它们分别估计来自输入的目标信号的结构和细节分量。 以图像超分辨率为例。 给定低分辨率图像，我们首先使用双三次上采样图像作为输入。 然后，我们的双网络根据图像分解的公式模型来学习细节和结构。
   Dual composition loss function.
   设X，S和D分别表示地面实况标签，Net-S的输出和Net-D的输出。 双重构图损失函数强制执行恢复的结构S和细节D可以使用给定的地层模型生成地面实况标签X：

   
   
   图片.png
   
   

   其中函数φ（·）和φ（·）的形式是已知的，并且取决于每个任务的领域知识。 例如，函数φ（·）和φ（·）是用于图像分解问题（例如，滤波）和恢复问题（例如，超分辨率，去噪和去除）的同一性函数。 我们将证明φ（·）和φ（·）可以采用更一般的形式来处理具体问题。
   3.1. Regularization of the DualCNN Model
   所提出的DualCNN模型具有两个分支，如果仅使用组分损失（1），则可能导致不稳定。 例如，如果Net-S和Net-D具有相同的结构，则存在对称解决方案。 为了获得稳定的解，我们使用单独的损失函数来分别规范两个分支。 Net-S和Net-D的丢失函数定义为

   
   
   图片
   
   the overall loss：
   
   图片.png
   
   
   图片.png
   
   3.2. Generalization
   除了图像分解和恢复问题，所提出的模型可以通过修改组合损失函数来处理其他低级视觉问题（1）。

3. Analysis and Discussion
       在本节中，我们进一步分析了所提出的方法，并将其与最相关的方法进行了比较。
       DualCNN架构的影响。 Lin等人开发了一种双线性模型来提取细粒度视觉识别的互补特征。 相比之下，所提出的DualCNN的动机是将信号分解为结构和细节。 更重要的是，所提出的模型的制定有助于整合每个单独应用的领域知识。 因此，DualCNN模型可以有效地应用于许多低级视觉问题，例如超分辨率，图像滤波，去雨和去雾。
       已经基于用于低水平视觉问题的单个分支开发了许多深度学习方法，例如SRCNN [5]和VDSR [17]。 一个自然的问题是为什么更深层次的架构不一定能带来更好的性能。 原则上，足够深的神经网络具有足够的容量来解决给定足够训练数据的任何问题。 然而，在确保高效率和简单性的同时，为这些问题学习非常深的CNN模型并非易事。
       对于实验验证，我们使用SRCNN和更深的模型，即VDSR，用于图像滤波和去除。 使用VDSR模型的样本结果如图8所示。虽然残差学习（即VDSR）方法的性能优于SRCNN，但使用普通CNN模型生成的图像[5]包含模糊边界或雨条纹
       尽管提出的DualCNN由两个分支组成，但另一种方法是以级联的方式组合Net-S和Net-D，如图9所示。在这个级联模型中，第一阶段估计主要结构，而第二阶段估计细节。 这种网络架构类似于ResNet [13]。 然而，与提出的DualCNN相比，这种级联架构不会产生高质量的结果（图8（e）和表6）。

   
   
   图9

6. Conclusion

在本文中，我们提出了一种用于低级视觉任务的新型双卷积神经网络，称为DualCNN。 从输入信号，DualCNN恢复结构和细节组件，其可以根据特定任务的问题公式生成目标信号。 我们分析了DualCNN的影响，并表明它是一个通用框架，可以有效地应用于许多低级视觉任务，包括图像超分辨率，过滤，图像去除和图像去雾。 实验结果表明，DualCNN对于针对每项任务专门设计的最先进方法表现出色。