自然语言处理(NLP)-特征提取器(Feature Extractors)：CNN、RNN/LSTM、Transformer

近年来，深度学习在各个NLP任务中都取得了SOTA结果。这一节，我们先了解一下现阶段在自然语言处理领域最常用的特征抽取结构。

在深度学习流行起来之后，随着我们的网络越做越深，我们的神经网络模型越来越像一个黑箱，我们只要喂给它数据，我们的模型就能够根据我们的给予的目标，自动学习抽取对于该任务最有利的特征（这点在CV中更为明显，比如在卷积神经网络的不同层能够输出图像中不同层面上的细节特征），从而实现了著名的“端到端”模型。在这里，我们可以把我们的CNN、RNN以及Transformer看作抽取数据特征的特征抽取器。下面，本文将为大家简单介绍RNN、CNN及NLP新宠Transformer的基本结构及其优缺点。

一、RNN

二、CNN

三、Transformer

---

---

---

参考资料：
三大特征提取器（RNN/CNN/Transformer）
放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较