PyTorch入门到进阶实战笔记三(NLP)

PyTorch入门到进阶实战笔记

  • 循环神经网络与NLP基础串讲
    • RNN基础概念
    • 常见的RNN结构
      • 简单RNNs原理介绍
    • 双向RNNs原理介绍
    • LSTM原理介绍
      • 双向LSTM网络原理介绍
      • LSTM网络结构变种
    • Attention结构
    • Seq2Seq模型
      • 优化方法
    • Transformer结构
    • BERT
    • NLP基础概念
      • n-gram
      • 基于前馈神经网络的模型
      • 基于循环神经网络的模型
      • 衡量语言模型
      • 其他基础概念
      • NLP主要研究方向
  • PyTorch实战中文文本情感分类问题
    • 情感分类概念介绍
    • 情感分类关键流程
    • 文本预处理——中文分词
    • 文本特征提取与文本表示
    • 文本情感分类之深度学习模型
      • FastText
      • TextCNN
      • TextRNN
      • TextRCNN(TextRNN+CNN)
      • TextRNN+Attention(HAN)

循环神经网络与NLP基础串讲

RNN基础概念

PyTorch入门到进阶实战笔记三(NLP)_第1张图片 PyTorch入门到进阶实战笔记三(NLP)_第2张图片 PyTorch入门到进阶实战笔记三(NLP)_第3张图片

常见的RNN结构

PyTorch入门到进阶实战笔记三(NLP)_第4张图片

简单RNNs原理介绍

PyTorch入门到进阶实战笔记三(NLP)_第5张图片 PyTorch入门到进阶实战笔记三(NLP)_第6张图片

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qhY5Lnay-1621823826836)(https://gitee.com/Lluvia233/cloudimages/raw/master/img/image-20210520191726505.png)]

PyTorch入门到进阶实战笔记三(NLP)_第7张图片
  • 存在的问题
    • 梯度消失
    • 梯度爆炸
    • constant error carrousel(CEC)

双向RNNs原理介绍

PyTorch入门到进阶实战笔记三(NLP)_第8张图片 PyTorch入门到进阶实战笔记三(NLP)_第9张图片 PyTorch入门到进阶实战笔记三(NLP)_第10张图片

LSTM原理介绍

PyTorch入门到进阶实战笔记三(NLP)_第11张图片 PyTorch入门到进阶实战笔记三(NLP)_第12张图片 image-20210520204214632 PyTorch入门到进阶实战笔记三(NLP)_第13张图片 PyTorch入门到进阶实战笔记三(NLP)_第14张图片 PyTorch入门到进阶实战笔记三(NLP)_第15张图片 PyTorch入门到进阶实战笔记三(NLP)_第16张图片 PyTorch入门到进阶实战笔记三(NLP)_第17张图片

双向LSTM网络原理介绍

PyTorch入门到进阶实战笔记三(NLP)_第18张图片

LSTM网络结构变种

PyTorch入门到进阶实战笔记三(NLP)_第19张图片

Attention结构

PyTorch入门到进阶实战笔记三(NLP)_第20张图片 PyTorch入门到进阶实战笔记三(NLP)_第21张图片

Seq2Seq模型

PyTorch入门到进阶实战笔记三(NLP)_第22张图片 PyTorch入门到进阶实战笔记三(NLP)_第23张图片

优化方法

PyTorch入门到进阶实战笔记三(NLP)_第24张图片 PyTorch入门到进阶实战笔记三(NLP)_第25张图片 PyTorch入门到进阶实战笔记三(NLP)_第26张图片

Transformer结构

image-20210521093502362[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-noqPa4iU-1621823826846)(https://gitee.com/Lluvia233/cloudimages/raw/master/img/image-20210521094010634.png)]

PyTorch入门到进阶实战笔记三(NLP)_第27张图片 PyTorch入门到进阶实战笔记三(NLP)_第28张图片 image-20210522202909857 image-20210522230736355 PyTorch入门到进阶实战笔记三(NLP)_第29张图片 PyTorch入门到进阶实战笔记三(NLP)_第30张图片 PyTorch入门到进阶实战笔记三(NLP)_第31张图片

BERT

PyTorch入门到进阶实战笔记三(NLP)_第32张图片 PyTorch入门到进阶实战笔记三(NLP)_第33张图片

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qB9Cm2Kr-1621823826850)(https://gitee.com/Lluvia233/cloudimages/raw/master/img/image-20210523000456869.png)]

PyTorch入门到进阶实战笔记三(NLP)_第34张图片

NLP基础概念

PyTorch入门到进阶实战笔记三(NLP)_第35张图片

n-gram

PyTorch入门到进阶实战笔记三(NLP)_第36张图片

基于前馈神经网络的模型

PyTorch入门到进阶实战笔记三(NLP)_第37张图片

基于循环神经网络的模型

PyTorch入门到进阶实战笔记三(NLP)_第38张图片

衡量语言模型

PyTorch入门到进阶实战笔记三(NLP)_第39张图片

困惑度越小,表达越精准

其他基础概念

PyTorch入门到进阶实战笔记三(NLP)_第40张图片

NLP主要研究方向

PyTorch入门到进阶实战笔记三(NLP)_第41张图片

PyTorch实战中文文本情感分类问题

情感分类概念介绍

PyTorch入门到进阶实战笔记三(NLP)_第42张图片 PyTorch入门到进阶实战笔记三(NLP)_第43张图片

情感分类关键流程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IghhAEBt-1621823826853)(C:/Users/Administrator/AppData/Roaming/Typora/typora-user-images/image-20210524091846709.png)]

文本预处理——中文分词

PyTorch入门到进阶实战笔记三(NLP)_第44张图片 PyTorch入门到进阶实战笔记三(NLP)_第45张图片

文本特征提取与文本表示

PyTorch入门到进阶实战笔记三(NLP)_第46张图片 PyTorch入门到进阶实战笔记三(NLP)_第47张图片

文本情感分类之深度学习模型

PyTorch入门到进阶实战笔记三(NLP)_第48张图片

FastText

PyTorch入门到进阶实战笔记三(NLP)_第49张图片

TextCNN

PyTorch入门到进阶实战笔记三(NLP)_第50张图片

TextRNN

PyTorch入门到进阶实战笔记三(NLP)_第51张图片

TextRCNN(TextRNN+CNN)

PyTorch入门到进阶实战笔记三(NLP)_第52张图片

TextRNN+Attention(HAN)

PyTorch入门到进阶实战笔记三(NLP)_第53张图片

你可能感兴趣的:(机器学习,深度学习)