2019显著性检测 EGNet: Edge Guidance Network for Salient Object Detection

【文章】
【代码】http://mmcheng.net/egnet/

1.摘要

Fully convolutional neural networks (FCNs) have shown their advantages in the salient object detection task. However, most existing FCNs-based methods still suffer from coarse object boundaries. In this paper, to solve this problem, we focus on the complementarity between salient edge information and salient object information. Accordingly, we present an edge guidance network (EGNet) for salient object detection with three steps to simultaneously model these two kinds of complementary information in a single network. In the fifirst step, we extract the salient object features by a progressive fusion way. In the second step, we integrate the local edge information and global location information to obtain the salient edge features. Finally, to suffificiently leverage these complementary features, we couple the same salient edge features with salient object features at various resolutions. Benefifiting from the rich edge information and location information in salient edge features, the fused features can help locate salient objects, especially their boundaries more accurately. Experimental results demonstrate that the proposed method performs favorably against the state-of-the-art methods on six widely used datasets without any pre-processing and post-processing. 完全卷积神经网络（FCN）在显著目标检测任务中已显示出其优势。但是，大多数现有的基于FCN的方法仍然存在对象边界粗糙的问题。在本文中，为了解决这个问题，我们着重于凸显边缘信息与凸显对象信息之间的互补性。因此，我们提出了一种通过三个步骤来对显著物体进行检测的边缘导航网络（EGNet），以在单个网络中同时对这两种互补信息进行建模。在第一步中，我们通过渐进融合的方式提取显著对象的特征。第二步，我们整合局部边缘信息和全局位置信息以获得显著的边缘特征。最后，为了充分利用这些互补特征，我们将相同的显著边缘特征与各种分辨率下的显著对象特征耦合在一起。从显著边缘特征中的丰富边缘信息和位置信息中受益，融合特征可以帮助更精确地定位显著对象，尤其是其边界。实验结果表明，在没有任何预处理和后处理的情况下，该方法在六个广泛使用的数据集上的性能优于现有方法。

2.创新点

1.We propose an EGNet to explicitly model complementary salient object information and salient edge information within the network to preserve the salient object boundaries. At the same time, the salient edge features are also helpful for localization.
2.Our model jointly optimizes these two complementary tasks by allowing them to mutually help each other,which significantly improves the predicted saliency maps.
3.We compare the proposed methods with 15 state-ofthe-art approaches on six widely used datasets. Without bells and whistles, our method achieves the best performance under three evaluation metrics.
1.提出了一个EGNet来显式建模网络中的互补显著对象信息和显著边缘信息，以保留显著对象边界。 同时突出的边缘特征也有助于定位。
2.模型通过允许彼此互助来共同优化这两个互补的任务，从而显著改善了预测的显著性图。
3.我们在六个广泛使用的数据集上将建议的方法与15种最新方法进行了比较。 不用费吹灰之力，我们的方法就可以在三个评估指标下实现最佳性能。

3.EGNet网络

EGNet网络，该网络由三个部分组成，NLSEM（边缘提取模块）、PSFEM（目标特征提取模块）、O2OGM（一对一指导模块），原始图片通过两次卷积输出图片边缘信息，与此同时，对原始图像进行更深层次的卷积操作提取salient object，让后将边缘信息与不同深度提取出来的显著目标在一对一指导模块中分别FF（融合），再分别经过卷积操作得到不同程度的显著性图像，最终输出了一张融合后的显著性检测图像。

3.1 PSFEM模块

3.2 NLSEM模块

在网络的Conv2-2阶段，前景的边缘信息更加准确所以作者使用了这一阶段的特征图来做边缘信息的处理。而由于Conv1-2阶段的特征感受野小，故被作者放弃。
作者认为为获取显著性对象的边缘信息如果仅仅依靠低等级特征是不够的，因为信息从高等级特征传到低等级特征的时候会被稀释掉，所以从 阶段引入了高等级特征。同时这样操作的好处也在于高等级特征拥有更大的感受野，能够让位置信息更加的准确。

3.3 O2OGM模块

4.实验结果

————————————————
参考文献：
【matlabLKL】https://blog.csdn.net/qq_41967539/article/details/101212139
【Leiy】https://zhuanlan.zhihu.com/p/80725308