搭建Transformer模型保姆级教程-亲测！！！

一、Transformer模型

1.1、Transformer介绍

Transformer 模型是一种深度学习架构，首次由 Vaswani 等人在 2017 年提出，主要用于处理序列数据如自然语言。其核心创新在于使用自注意力机制（Self-Attention）来捕捉序列中不同位置之间的依赖关系，而无需传统的递归神经网络（RNN）或卷积神经网络（CNN）。Transformer 模型是现代许多先进自然语言处理模型（如 BERT、GPT、T5）的基础，对 AI 技术的进步产生了深远影响。

1.2、特点及应用

主要特点：

• 自注意力机制：通过计算序列中每个元素与其他元素的相关性，从而捕捉长距离依赖关系。
• 多头注意力：将自注意力机制分为多个头部，以捕捉不同的表示子空间，增强模型的表达能力。
• 位置编码：为序列中的每个位置添加位置信息，以保留顺序信息，因为 Transformer 本