attention注意力机制

attention注意力机制的定义和本质

顾名思义：注意力机制的意思就是将注意力集中在重要的点上，忽略那些不重要的因素。
注意力机制的本质其实就是对特征分配注意力权重的过程。
现在的重点就是注意力权重的获取过程。

Encoder-Decoder模型定义

以机器翻译为例，来讲解attention机制。
机器翻译领域应用最广泛的Encoder-Decoder模型，即编码解码模型，其中Encoder编码器，是将输入数据（图像或文本）编码为固定长度的特征向量。而Decoder解码器，是以编码得到的特征作为输入，解码为目标输出。

在编码解码结构中加入attention机制-----就是对编码得到的特征分配注意力权重后作为解码器的输入。

Soft Attention Model

Soft Attention Model------软注意力模型，是会对所有的特征都分配一个注意力权重，没有筛选条件。所以说软注意力模型的注意力是发散的，也就是说，attention模型会给序列中的每一个数据分配一个注意力权重。

Hard Attention Model

Hard Attention Model------硬注意力模型，注意力是集中在某一个小的区域内，只对其中的某一个特征分配权重为1，其余为0。

spatial attention是以feature map的每个像素点为单位，对feature map的每个像素点都配一个权重值，因此这个权重值应该是一个矩阵，大小是图片的大小；channel wise attention则是以feature map为单位，对每个channel都配一个权重值，因此这个权重值应该是一个向量。