【图像超分辨率】Remote Sensing Imagery Super Resolution Based on Adaptive Multi-Scale Feature Fusion Network

对于遥感图像的超分辨率，本文提出了一种自适应多尺度特征融合网络（AMFFN）。 AMFFN 可以直接从原始低分辨率图像中提取密集特征，而无需任何图像插值预处理。串联几个自适应多尺度特征过滤块（AMFE），以自适应地提取遥感图像的高频详细特征信息。AMFFN 的主要贡献包括：

• 针对遥感图像的超分辨率引入了一种自适应多尺度特征融合网络，可以自适应地提取多尺度特征信息；
• 集成了挤压激励模块（Squeeze-and-Excited，SE）和自适应门控单元（Adaptive Gating Unit），用于特征提取和融合，可以学习特征图的通道相关性，自适应地确定应保留多少先前特征信息，减少冗余特征信息中间的多尺度特征，并增强了有用特征信息的使用。

首先介绍了自适应多尺度特征融合网络的整体结构，然后详细介绍了网络结构中更加细节的设计。

自适应多尺度特征融合网络（AMFFN）的网络结构主要分为四个部分：

• 原始特征提取（original feature extraction）
• 自适应多尺度特征提取（adaptive multi-scale feature extraction，AMFE）
• 特征融合（feature fusion）
• 图像重建（image reconstruction）

自适应多尺度特征提取是本文算法的核心模块，它由若干个自适应多尺度特征过滤块（AMFB）串联而成，主要用于完成遥感图像高频细节特征信息的自适应提取。

上图中网络输入为待重建的低分辨率遥感图像LR，HR为重建的高分辨率遥感图像。为保证计算效率，图像特征的提取和融合均在LR上进行。首先将带0n 个卷积核的卷积层conv 应用于输入图像，以生成一组特征图，具体操作如下：

式中，A 作为从低分辨率遥感图像中提取原始特征，w 对应于卷积层中的滤波器，这里为 128 个空间大小为 3×3 的卷积核，0b 表示卷积层的偏置，而’*'表示卷积运算。
在自适应多尺度特征提取部分，假设这里部分包含有 n 个自适应多尺度提取块（AMFE），那么第 i 个 AMFE 可以表示为：
、
其中，fMFE表示多尺度特征提取操作，g(.) 表示自适应特征门控操作，AMFE 是自适应特征提取的基础模块，它是由多尺度特征提取（multi-scale feature extraction， MFE）单元和特征门控组成，用于自适应地保留来自前一个 AMFE 模块的特征信息。通过特征提取，可以获得一系列特征图，对于这些特征图，包含大量的冗余信息，如果直接将其用于图像重建，则会大大增加计算负担。 因此，在将这些用于超分辨率的特征输入到重建层之前，将特征融合层设置在 n 个AMFE 之后以进行特征融合和降维。 特征融合层fusionA 的输出公式为：

上式中，w 对应特征融合层的权重，代表了 64 个尺寸为 1×1 的卷积核，b 是对应的偏差，并且[ , , , ]表示由第一特征提取层 conv 和 AMFE 提取的所有特征图的并联。
在最后图像重建部分与许多基于 CNN 的方法一样，采用亚像素卷积（sub-pixelconvolution）[35]的方法来重建高分辨率遥感图像。重建层的数学表达可以定义如下：