Classification of Hyperspectral Images by Gabor Filtering Based Deep Network（2018）——深度学习论文笔记（六）

Classification of Hyperspectral Images by Gabor Filtering Based Deep Network（2019）

Abstract

  论文提出了基于Gabor filtering和deep network的spectral-spatial分类方法。首先对HSI的前三个主成分进行Gabor滤波，识别出不同方向和尺度的low-level spatial features。然后堆叠Gabor features和spectral features（即原始HSI的所有波段）组成fused features。最后通过训练stacked sparse autoencoder deep network从fused features中得到deep features，使用MLR进行分类。训练时使用的fused features不仅来自于real samples，还来自于由2个不相关的real samples组合成的virtual samples。

1.INTRODUCTION

  HSI一百多个、几百个波段中蕴含着的光谱信息与物质的物理特性有关。spectral classifier有SVM、RF、MLR（多项式logistic回归）、神经网络。SVM对高维度的敏感性低，能呈现出不错的分类表现。稀疏表示也是影像表示和分析的一个很好的工具。
  然而只使用光谱信息会导致分类噪声。EMAP（扩展形态学多属性剖面）通过一系列attribute profiles构建spectral-spatial features；使用边缘保持滤波平滑multiple probability maps以便使得平滑的概率与真实的物体边界保持一致，以提取空间信息；多尺度自适应稀疏表示模型通过自适应稀疏策略可以提取多尺度的空间信息；Gabor features可以表示HSI中不同尺度和不同方向的空间结构；此外还有composite kernel methods（混合核方法）、intrinsic image decomposition、extended random walker（扩展随机游走器）、tensor representation、hypergraph、anisotropic diffusion（各向异性扩散）。
  与只有浅层结构的传统分类器相比，深度学习框架结构较深，能够提取更抽象和不变的特征，有着更好的分类表现。SSAE相比SAE多了sparse constraint；SSAE和DBN等深度模型在训练时需要学习和更新很多参数，在HSI分类样本量很少的情况下难以达到最优的训练效果。而且这些深度模型使用了固定大小的patch来从PCA中提取空间相似性信息，这样会丢失掉很多空间信息，所以会导致边缘区域的噪声。
  提出的方法想要充分利用HSI的深度光谱-空间信息。常见的特征提取的方法有attribute profiles（APs），extinction profiles（EPs），local binary patterns（LBP，用来提取物体更高层的空间信息，如区域面积、标准差、限位框的对角线长度，局部区域的二值模式）。Aptoula提出用CNN with APs进行HSI分类。本文使用Gabor filters来提取不同方向和尺度的空间结构，这属于低层空间结构。深度学习网络将低层特征转变为高层特征，以获取更好的分类精度。
  GFDN分为三步：

• 从前三个PCA中提取Gabor特征
• 组合Gabor特征和光谱特征形成融合特征
• 通过SSAE深度网络将融合特征转变为深度融合特征
  注：训练时使用了virtual samples，训练完成后使用MLR（如softmax regression）分类器。

  论文第二部分简要介绍相关工作，第三部分详细阐述了论文提出的方法，第四部分展示了实验结果和分析，第五部分为总结。

2.RELATED WORKS

A.Stacked Sparse Autoencoder（SSAE）

  sparse AE是SSAE的基本组成单元，其能从原始数据中学习到高层的结构表示。

• sparse AE

• SSAE
  
  [论文学习]1——Stacked AutoEncoder（SAE）堆栈自编码器

B.Gabor Filter

  Gabor filter由高斯函数和平面正弦波调制而成。从Gabor滤波图像中可以提取鉴别特征，尤其是纹理和方向信息。

• Gabor filter的生成函数
  

3.PROPOSED METHOD

• 提取Gabor features
• 构建virtual samples
• 使用SSAE学习深度特征和分类

A.Extraction of Gabor features

B.Construction of virtual samples

  在将Gabor features和spectral features堆叠以后，每一个样本的特征就包括了Gabor features和spectral features了，根据这样的real samples产生virtual samples，而不是使用只含有spectral features的real samples产生virtual samples。

• 同类样本x_i和x_j之间的affinity matrix（类同，密切关系）
  
  有很多定义affinity matrix的方式，但是heat kernel可以有效的形成位置不变特性。

• virtual samples
  
  为了增加合成样本的discrimination，挑选的真实样本x_i和x_j之间的相关性很低。

• 真实样本x_i和x_j之间的相关性
  
  Pearson相关系数

C.Feature Learning and Classification Based on the SSAE

  SSAE使用（real+virtual samples）训练集训练完成后其实就是产生了一个映射函数，f（W，b），该映射函数能将fused features变为deep features。

• IP数据集训练的SSAE中前两个隐层的W（每一个小格代表一个layer中的一个unit）
  

4.EXPERIMENTAL RESULTS AND DISCUSSIONS

A.Experimental Setup

• 数据集
  

B.Classification Results

  论文提出的方法与SVM、SAE、EMAP、SRC（基于稀疏表示的分类）、EPF（边缘保持滤波）、JSRC（联合稀疏表示分类）、MFL（多特征学习）。
  SVM使用LIBSVM库完成，参数C和σ使用五倍交叉验证获得。SRC和JSRC的参数为默认值，SAE与SSAE的参数一样，SAE中固定大小的patch被设为7，来从前10个主成分中提取空间相似性信息。EMAP中使用不同的attributes（面积、对角线长度、标准差）来从前3个主成分中提取attribute profiles。其中面积的阈值被设为10、15、20；对角线长度的阈值被设为50、100、500；标准差的阈值被设为10、30、50。MFL使用的Li博士的代码，EPF使用的Kang博士的代码。
1）GFDN参数设定：
  论文提出的GFDN方法的参数凭经验设定且在四个数据集中保持不变。对于Gabor filter，考虑了8个（0~180°）的方向（0、22.5°……157.5°），scale U和size d分别设为5和55，因为它们能提供高的分类精度，计算时间也可以忍受；对于深度网络，SSAE包括两层sparse AE，每一层有400个隐层单元，有400次fine-tuning and iterations。（这是无监督和有监督的训练一共有400次？还是分别？）。权重衰减罚λ默认值为e^-4,稀疏系数ρ为0.05。
2）不同分类方法的比较：

• 分类精度
  
    所有的实验都是在Intel Core i5-3210 CPU 2.5GHz和8GB RAM的手提电脑上进行。
• 运行时间
  

C.Analysis of the Influence of Parameters

1）Gabor filter的scale和size的影响

  scale U=5和size d=55是默认设定值。
2）每层的单元数和系数参数的影响


  如果ρ设定的非常小的话，^ρ_j就会严重偏离ρ，导致惩罚项非常大，因此建议ρ取大于0.05的值。
3）网络深度和最大迭代次数的影响

  如果网络层数很大，那么相应参数也会变多，而样本量比较少，及时生成了virtual samples，样本量还是很少，所以层数太多了精度反而会下降。

D.Effect of Feature Extraction Methods

• 特征种类的影响
  
• 不同的特征提取方法对GFDN的影响（即用什么方法提取spatial feature）
  

E.Effect of Different Number of Principle Components

  前三个PCA能够保留HSI的绝大部分边缘信息，已经足够HSI光谱信息的建模了，而后面的PCA会带来一些噪声，导致分类结果下降。主成分越少计算量也会越少。

F.Effect of Different Number of Training Samples

4.CONCLUSION

  本文提出了一种用于HSI分类的GFDN方法，通过组合Gabor filter和SAE，提升了HSI分类的表现。GFDN在四个HSI数据集的分类图和分类定量指标结果上都比现如今的方法好。GFDN主要的缺点是需要正确标记的样本来训练网络，在未来，作者会研究能否使用包含正确和错误标记的样本来训练该网络。

Swear to be overdramatic☀ and true❤ to the world
我发誓将以极致的热忱与真诚，献与这个美丽的世界。

单词

后记
  完成于11/4晚上6:35，I’ve been having dreams，splashing in a summer stream.