External Attention（EA）：超越自注意力，仅用两个线性层

论文地址：2105.02358.pdf (arxiv.org)

GitHub：MenghaoGuo/-EANet: External Attention Network (github.com)

目录

1、动机

2、方法

2.1、self-attention

2.2、External Attention

2.3、Normalization方法

2.4、Multi-head external attention

3、实验结果

---

1、动机

注意力机制，尤其是self-attention（SA），在CV任务中越来越重要了。self-attention通过计算同一个样本所有位置之间的相关性，来捕获长距离依赖。然而，其计算复杂度是平方级的，且忽略了不同样本间的联系。针对这些缺点，本文提出了一个新颖的注意力方法——External Attention（EA），仅由两个线性层和两个归一化层构造，且具备线性的计算复杂度。此外，作者还进一步提出了multi-head EA，对标multi-head SA，还提出了一个纯MLP的架构——EAMLP。

2、方法

2.1、self-attention

对于自注意力机制，如图1（a），其将输入的feature map（F）先经过三个线性变换得到query(Q)、key(K)、value(V)，然后针对QKV三个向量，先将Q和K矩阵乘得到注意力矩阵A，然后A再和V相乘得到self-attention的最终输出，该过程如下式所示：

（1）

self-attention的简化示意图，如图1（b），其对应公式为：

（2）

总而言之，self-attention有两个缺点：

• （1）平方级计算复杂度；
• （2）仅考虑单个样本自身的值来做注意力；

2.2、External Attention

鉴于self-attention的两个缺点，作者提出了一个新颖的注意力模块——External Attention，其结构如图1（c），其公式如下：

（3）

可见，相比SA，EA使用一个外部矩阵M来建模第i个像素和第j行之间的相似性，且M是可学习的、大小可变的，同时，M还可以随着训练过程的进行建模整个数据集不同样本间的联系。由此，EA就解决了SA的上述两个缺点。

在实际应用中，M分为两个：M_k、M_v，分别对应SA中的K和V：

（4）

EA的伪代码如下：

2.3、Normalization方法

在SA中，使用的Normalization是SoftMax，其对输入feature的尺度非常敏感。作者在EA中使用的double-normalization，其对列和行分别计算：

（5）

2.4、Multi-head external attention

在Transformer中，self-attention在不同输入尺寸下计算了多次，形成Multi-head self-attention。Multi-head机制可以捕获token之间不同的关系，对提升性能至关重要。因此，作者也提出了一个Multi-head external attention：

（6）

其示意图如图2所示，伪代码如算法2所示：

3、实验结果