SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers Transformer高光谱分类论文笔记

SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers

作者：Danfeng Hong,Zhu Han,Jing Yao, Lianru Gao,Bing Zhang,Antonio Plaza,and Jocelyn Chanussot
来源：2021 IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING
汇报时间：2021.12.03

本文动机：
CNN由于其固有的网络主干的限制不能很好地挖掘和表示光谱特征的序列属性。
贡献：
本文从transformer的序列角度重新思考HS图像分类，并提出SpectralFormer。（首次在高光谱分类中应用transformer）
分组光谱嵌入（GSE）：除了经典transformer中的逐波段表示外，SpectralFormer能够从HS图像的相邻波段中学习光谱上的局部序列信息，产生分组的光谱嵌入。
跨层自适应融合（CAF）：为了减少在逐层传播过程中丢失有价值信息的可能性，本文设计了一个跨层跳跃连接，通过自适应地学习融合跨层的 "软 "残差，将类似记忆的成分从浅层传递到深层。
所提出的SpectralFormer是一个高度灵活的骨干网络，它可以适用于像素和块的输入。https://github.com/danfenghong/ IEEETGRSSpectralFormer。