AI产品经理必须知道的技术 之七 【注意力机制】

如果我们关注一些大模型的技术信息，那么肯定会听说一个词：注意力机制。可能你也大概看过一些关于注意力机制的介绍，大多数都很技术化，今天我讲一讲这个注意力机制。也许可以让你了解一些注意力机制的作用，以及粗略地了解它的内部原理。

01

—

什么是注意力机制

深度学习以及大语言模型的发展， 很大程度上，得益于Transformer架构的出现。现在绝大多数的大语言模型，都是基于Transformer训练的。

Transformer是一种神经网络架构。神经网络还有很多种架构，每一种架构都有它适用的应用场景和任务类型。例如：

前馈神经网络，它的特点是信息在网络中只向前传播，它适用于分类和回归任务。如图像分类、文本分类、情感分析等。
 

卷积神经网络（CNN)，它的特点是可以自动提取和学习特征。适用于图像处理任务。
 

循环神经网络（RNN），它的特点是具有循环连接的神经网络，能够处理序列数据，例如文本和时间序列数据。
 

生成对抗网络(GAN)，由两个网络生成器和判别器组成，通过对抗训练来生成逼真的数据，常用于生成图像、文本等。

而Transformer的特点就是注意力机制。它可以从输入的数据中，选择性地关注某些部份，对其加权。适合用于处理序列数据。常被用于机器翻译、语音识别、文本摘要等任务，注意力机制同样也适用于大语言模型。大语言模型的本质，是根据输入的文本序列tokens，预测下一个字符（token）。

同样是处理序列数据&#x