王权富贵：Pytorch教学

第一部分教学代码：LianHaiMiao小哥哥写的

ps:我使用的是python3.7，pytorch1.0.1，如何查看pytorch版本？ 。在调试的过程中下面的代码还是有一些改动的，最好使用ubuntu，用jupter打开可以看图片，jupter直接打开.ipynb文件。

一、雏鹰起飞

Content	.ipynb 文件	.py 文件
1.Tensor基础	Tensor基础.ipynb	Tensor基础.py
2.autograd机制	autograd机制.ipynb	autograd机制.py
3.线性回归	线性回归.ipynb	线性回归.py
4.多层感知机	多层感知机.ipynb	多层感知机.py
5.Dataset和DataLoader	Dataset和DataLoader.ipynb	Dataset和DataLoader.py
6.CNN和MNIST	CNN和MNIST.ipynb	CNN和MNIST.py
7.参数初始化和使用预训练模型	参数初始化和使用预训练模型.ipynb	参数初始化和使用预训练模型.py
8.模型微调的各种trick	模型微调的各种trick.ipynb	模型微调的各种trick.py
9.模型保存和加载	模型保存和加载.ipynb	模型保存和加载.py
10.循环神经网络（RNN）	循环神经网络（RNN）.ipynb	循环神经网络（RNN）.py

一、雏鹰起飞改动部分

6.CNN和MNIST中，在开始训练LeNet5模型的时候需要将.data[0]改成.data.item()。PS:下面所有的都一样，参考。

一、雏鹰起飞补充部分

6.CNN和MNIST中，设计到数据集。torchvision.datasets中提供的数据集参考。

6.补充一个LeNet5的测试模型，MNIST数据显示图片显示 ，让图片在jupter中显示，在第一个链接方法2中有个错误，需要压缩图片维度才能imshow .

7.参数初始化和使用预训练模型中提到模型下载，pytorch所拥有的模型参考。

二、小试牛刀

1、计算机视觉——经典算法（卷积神经网络专区）

Content	.ipynb 文件	.py 文件	paper
AlexNet	AlexNet.ipynb	AlexNet.py	AlexNet paper
VGG	VGG.ipynb	VGG.py	VGG paper
Network In Network	NIN.ipynb	NIN.py	Network In Network paper
GoogleNet		GoogleNet.py	GoogleNet V1 paper
ResNet	ResNet.ipynb	ResNet.py	ResNet paper
DenseNet		DenseNet.py	DenseNet paper

二、小试牛刀 代码部分

从AlexNet，VGG中总结：构建模型框架，训练模型框架，测试模型框架。

在Network In Network中，nn.ReLU(inplace=True)，表示直接在原始变量内存中修改变量，参考。

在pytorch的torchvision.models中已经集成好了好多上述的模型可以直接使用，详情参考。

二、小试牛刀 论文部分

阅读AlexNet重点：ReLu，dropout，|后面这些已经不常见了|，LRN，重叠池化

dropout思路死：那些“失活的”的神经元不再进行前向传播并且不参与反向传播。因此每次输入时，神经网络会采样一个不同的架构，但所有架构共享权重。这个技术减少了复杂的神经元互适应，因为一个神经元不能依赖特定的其它神经元的存在。

阅读Network In Network重点：MLP卷积层，全局均值池化

MLP卷积层思路是：CNN高层特征其实是低层特征通过某种运算的组合，那么用在每个局部感受野中进行更加复杂的运算可以近似这种组合。

阅读ResNet重点：残差块

残差块的思路是：让卷积层来拟合残差映射，而不是让每一个堆叠的层直接来拟合所需的底层映射。

DenseNet理解参考这个博客，在代码方面和网络结构的解析。

2、计算机视觉——应用领域

Content	.ipynb 文件	.py 文件	paper
语义分割(FCN)	FCN.ipynb	FCN.py	FCN paper

[YOLO.ipynb]

[Image2Language.ipynb]

3、自然语言处理

Content	.ipynb 文件	.py 文件	paper
Word2Vec	Word2Vec.ipynb	Word2Vec.py	Word2Vec Toolkit
LSTM	使用LSTM来生成周杰伦歌词.ipynb	使用LSTM来生成周杰伦歌词.py	[paper]
Encoder-Decoder	使用Encoder-Decoder来完成机器翻译.ipynb	Encoder-Decoder.py	[paper]
注意力机制	使用Encoder-Decoder + Attention 机制来完成机器翻译.ipynb	Attention.py	Neural Machine Translation by Jointly Learning to Align and Translate

[情感分类.ipynb]

[聊天机器人.ipynb]

4、生成模型

Content	.ipynb 文件	.py 文件	paper
GAN	GAN.ipynb	GAN.py	GAN paper
DCGAN	DCGAN.ipynb	DCGAN.py	DCGAN paper
Variational Auto-Encoder	VAE.ipynb	VAE.py	VAE paper

[WGAN.ipynb]

5、样式迁移

Content	.ipynb 文件	.py 文件	paper
Nueral_Style	Neural Style.ipynb	Nueral Style.py	Nueral_Style paper

6、强化学习

Content	.ipynb 文件	.py 文件	paper
Policy Gradients	基于 policy gradients 来玩 CartPole-v0	基于 policy gradients 来玩 CartPole-v0	任务介绍

7、其它

Content	.ipynb 文件	.py 文件	paper
Capsule	Capsule.ipynb	Capsule.py	Capsule paper
Attention is all you need