目录一、卷积层—ConvolutionLayers1.11d/2d/3d卷积1.2卷积—nn.Conv2d()nn.Conv2d1.3转置卷积—nn.ConvTransposenn.ConvTranspose2d二、池化层—PoolingLayer（1）nn.MaxPool2d（2）nn.AvgPool2d（3）nn.MaxUnpool2d三、线性层—LinearLayernn.Linear四、激

1、梯度消失与爆炸上面公式中，H1是上一层神经元的输出值，W2的梯度依赖于上一层的输出，如果H1的输出值趋向于零，W2的梯度也趋向于零，从而导致梯度消失。如果H1趋向于无穷大，那么W2也趋向于无穷大，从而导致梯度爆炸。从上面我们可以知道，要避免梯度消失或者梯度爆炸，就要严格控制网络输出层的输出值的范围，也就是每一层网络的输出值不能太大也不能太小。从公式推导可以发现，第一个隐藏层的输出值的方差变为n

一、损失函数是什么损失函数：衡量模型输出与真实标签之间的差异。与损失函数有关的还有代价函数和目标函数。损失函数（LossFunction）：计算一个样本的差异，Loss=f(y^,y)Loss=f\left(\hat{y},y\right)Loss=f(y^,y)代价函数（CostFunction）：计算整个训练集loss的一个平均值，cost=1N∑iNf(y^,y)cost=\frac{1}{

目录一、概念二、梯度消失与爆炸三、权值初始化方法1、Xavier初始化2、Kaiming初始化一、概念权值初始化是指在网络模型训练之前，对各节点的权值和偏置初始化的过程，正确的初始化会加快模型的收敛，从而加快模型的训练速度，而不恰当的初始化可能会导致梯度消失或梯度爆炸，最终导致模型无法训练。如上图所示的一个基本的CNN网络结构，数据在网络结构中流动时，会有如下的公式（默认没有偏置）：在反向传播的过

在上一节中了解了为什么要进行权值初始化以及如何选择权值初始化方法，在这一节来了解一下pytroch中十种权值初始化方法一、权值初始化流程1、先设定什么层用什么初始化方法，初始化方法在torch.nn.init中给出；2、实例化一个模型之后，执行该函数，即可完成初始化。示例：definitialize_weights(self):forminself.modules:#对卷积层进行初始化ifisin

目录前期回顾一、权值初始化1.1梯度消失与梯度爆炸1.2Xavier初始化nn.init.xavier_uniform_(tensor,gain=1.0)1.3Kaiming初始化nn.init.kaiming_normal_(tensor,a=0,mode=‘fan_in’,nonlinearity=‘leaky_relu’)1.4十种权重初始化方法二、损失函数2.1损失函数初步介绍2.2交叉熵

一、transform理解参考：PyTorch学习笔记（三）：transforms的二十二个方法_TensorSense的博客-CSDN博客transform=transforms.Compose([transforms.Resize

1、torch.cat(inputs,dim=0)->Tensor参考链接：[Pytorch]详解torch.cat()Pytorch学习笔记(一)：torch.cat()模块的详解函数作用：cat是concatnate

Whytransforms?一般情况下收集到的图像样本在尺寸，亮度等方面存在差异，在深度学习中，我们希望样本分布是独立同分布的，因此需要对样本进行归一化预处理。有时候只能获取到少量的样本数据，获取数量较多的样本不容易。但是样本数量太少训练的模型精度会比较低，为了解决这样的问题，往往需要做数据增加dataarguement，数据增加的途径就是通过一些变换达到目的。pytorch中的transform

transforms是pytorch中常用的图像预处理方法，这个在torchvision计算机视觉工具包中。在安装pytorch时顺便安装了torchvision，在torchvision中，有三个主要的模块：●torchvision.transforms:常用的图像预处理方法，比如：标准化、中心化、旋转、翻转等；●torchvision.datasets:常用的数据集的dataset实现，例如：

目录一、torchvision：计算机视觉工具包二、transforms的运行机制（1）torchvision.transforms：常用的图像预处理方法（2）transforms运行原理三、数据标准化transforms.Normalize()四、数据增强4.1transforms—数据裁剪（1）transforms.CentorCrop（2）transforms.RandomCrop（3）Ra

目录基本数据：TensorTensor数据类型Tensor的创建与维度查看Tensor的组合和分块基本数据：TensorTensor，即张量，是pytorch中的基本操作对象。Tensor数据类型数据类型CPUTensorGPUTensor32位浮点torch.FloatTensortorch.cuda.FloatTensor64位浮点torch.DoubleTensortorch.cuda.Do

1--torch.optim.SGD()函数拓展importtorchLEARNING_RATE=0.01#梯度下降学习率MOMENTUM=0.9#冲量大小WEIGHT_DECAY=0.0005#权重衰减系数optimizer=torch.optim.SGD(net.parameters(),lr=LEARNING_RATE,momentum=MOMENTUM,weight_decay=WEIGH

PyTorch学习笔记（16）–在GPU上实现神经网络模型训练    本博文是PyTorch的学习笔记，第16次内容记录，主要介绍如何在GPU上实现神经网络模型训练。

  以下笔记来自b站，一只小土堆大神的《PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】》，感谢Up主的辛苦付出，如有侵权，深表抱歉，请与我联系，删除相关内容！  再一次表示感谢！  每天学习一点点！一：Pytorch安装和工具1、Anacond安装2、Pytorch安装3、显卡配置4、注意：清华源安装比较快5、pycharmshift+enter自动跳到下一行句首。6、jupyte

用训练好的模型对未知的图像进行预测'''加载训练模型需要对图像进行预处理严格按照网络需要的格式'''importnumpyasnptrain_on_gpu=Truedataiter=iter(dataloaders['valid'])images,labels=dataiter.next()model_ft.eval()iftrain_on_gpu:output=model_ft(images.c

前言要开始搞datascience了,最近在考虑一些AI结合security的事情,还比较迷茫,不过应该总能找到出路的,所以先不管学这个有什么意义了,直接开干技术.pytorch同TensorFlow一样,是datascience标配,所以必须好好学习blog主要参考b站up我是土堆的pytorch教学视频以及pytorch官方文档和源码torch包结构查看torch包的成员dir(torch)[

模型训练example参考https://www.bilibili.com/video/BV1hE411t7RN?p=27训练一个十分类器数据集modelfromtorchimportnnclassTenClassifier(nn.Module):def__init__(self):super(TenClassifier,self).__init__()self.model=nn.Sequenti

Pytorch学习笔记--0WhatisPytorch?写在最开始准备工作WhatisPytorch?

目录模型训练步骤各步骤如下argmax用法完整模型训练代码输出结果（部分）小细节模型训练步骤各步骤如下1.准备数据集2.查看数据集大小3.用dataloader加载数据集4.创建网络模型（一般存为一个model文件，在其中搭建网络模型）5.创建损失函数6.创建优化器7.设置训练网络参数（训练次数、测试次数、训练轮数）8.开始训练9.用tensorboard查看loss曲线10.保存每训练100步的

目录GPU训练方式1方式1如何操作完整代码结果如果电脑上没有GPU，可以使用Google的colabGPU训练方式2方式2如何操作完整代码用Googlecolab的输出GPU训练方式1方式1如何操作找到神经网络模型、数据（包括输入、标签等）和损失函数，调用他们的.cuda()，然后再返回就可以了。对网络模型用cuda()：#...model=Model()iftorch.cuda.is_avail

#首先定义网络模型net=module()#定义一个optimizer类，这个类可以用来更新网络参数optimizer=torch.optim.SGD(net.parameters(),lr=0.01)#定义学习率调度器CosineLR=torch.optim.lr_scheduler.CosineAnnealingLR(optimizer_CosineLR,T_max=150,eta_min=0

pytorch官网有大量数据集，可以通过函数调用的方式直接下载并使用，避免了繁琐的数据集搜集与整理工作。在官方文档中有详细的API说明与数据集介绍：https://pytorch.org/docs/stable/index.html文章目录torchvision中数据集的使用下载与查看在tensorboard中显示dataloader的使用torchvision中数据集的使用下载与查看这里下载CI

目录一、DataLoadertorch.utils.data.Dataloader二、Datasettorch.utils.data.Dataset三、数据读取上节回顾：Pytorch学习笔记（1）：基本概念

目录一、Pytorch简介1.1Pytorch的诞生1.2Pytorch的发展1.3Pytorch的优点1.4Pytorch实现模型训练的5大要素1.5Pytorch主要模块二、Pytorch的安装三、张量的简介与创建3.1张量的简介3.2张量的创建3.2.1直接创建（1）torch.tensor()（2）torch.from_numpy(ndarry)3.2根据数值创建（1）torch.zero

在深度学习中，模型的保存和加载很重要，当我们辛辛苦苦训练好的一个网络模型，自然需要将训练好的模型保存为文件。在测试使用时候，又需要将保存在磁盘的模型文件加载调用。在pytorch中网络模型定义为torch.nn.Module的子类的对象。因此模型的保存与加载涉及到２个重要概念——对象的序列化和反序列化。对象的序列化与反序列化序列化和反序列化听起来感觉高大上，其实是很常见的操作，下面举一个JAVA对

1.state_dict简介state_dict是Python的字典对象，可用于保存模型参数、超参数以及优化器（torch.optim）的状态信息。需要注意的是，只有具有可学习参数的层（如卷积层、线性层等）才有state_dict。下面就拿官方教程中的一个小示例来说明state_dict的使用：importtorchimporttorch.nnasnnimporttorch.optimasopti

一.实验环境介绍anoconda(python3.7)cuda10.1pycharm二.安装anaconda到anaconda官网安装即可：下载好之后点击安装即可。如何检测conda装好了呢？在cmd里面打conda-V，不报错就安好了。三.安装cuda百度搜索cudadownload。进入官网，下载。安装好之后直接打开，可能要等一会，不要着急。需要一些准备准备好之后会开始安装引导上图的勾勾一定要

目录CIFAR-10模型模型结构及卷积参数计算模型代码sequential的使用使用SummaryWriter中的add_graph()展示model正文CIFAR-10模型模型结构及卷积参数计算CIFAR10数据集中每张图片有三个通道，高和宽是32*32的，经过三次卷积和最大池化，展平后经过两次线性层得到最后的输出，每次卷积的卷积核为5*5，最大池化的池化核为2*2，具体过程如下。每张图片的维度

现有网络模型pytorch网络模型官方文档现有的torchvision中提供了许多常见的神经网络模型，这些模型主要包括：分类、语义分割、目标检测、视频分类等类型，其中分类主要针对图像分类，包括AlexNet、VGG、ResNet、GoogLeNet等网络。VGG-16模型认识VGG16VGG16模型之前的官方文档如果pretrained=True，说明这个网络模型中的参数在ImageNet数据集上

目录模型的保存方式一方式二模型的读取对应方式一对应方式二需要注意的问题模型的保存先引入vgg16模型（没有经过预训练的）importtorchvisionvgg16_false=torchvision.models.vgg16(pretained=False)方式一保存网络模型的结构和其中的参数torch.save(vgg16_false,"vgg16_method1.pth")在左侧可以看到已经

目录1.损失函数2.PyTorch中的损失函数2.1nn.L1Loss2.2nn.MSELoss2.3nn.CrossEntropyLoss3.将交叉熵损失函数用到上节的神经网络结构中4.优化器正文1.损失函数作用：1.计算实际输出和目标之间的差距2.为我们更新输出提供一定依据（反向传播）2.PyTorch中的损失函数2.1nn.L1Lossimporttorchfromtorch.nnimpor

ke1th2018-02-1113:47:0442430收藏113分类专栏：NLPpytorchdeeplearningpytorch学习笔记版权文章部分翻译自http://anie.me/On-Torchtext

注意事项：1在训练的过重中喜欢将网络模型单独放在一个model.py文件里面，在训练脚本进行训练的时候只需要导入这个.py文件就可以了。除此之外，在模型脚本里面可以进行一定程度上的运行，防止网络出现问题。2.训练套路：下载数据集----》加载数据集------》定义网络模型-----》定义损失函数-----》定义学习率-------》定义优化器（可以搞个tensorboard）------>在ep

（0）摘要#课程链接PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】_哔哩哔哩_bilibili#笔记内容（1）P27_完整模型训练的套路（一）（2）P28_完整模型训练的套路（二）（3）P29_完整模型训练的套路（三）（1）完整模型训练的套路（一）#（1）完整网络训练的搭建。1）规范化。创建models.py用于存放网络模型，这是一种规范。#-*-coding=utf-8-*-#g

目录Part103Gradient_Descent1Part203Gradient_Descent2Part305LinearRegressionPart406Logistic_RegressionPart507Multiple_Dimension_InputPart608DatasetandDataloaderPart709Softmax_Classifier（运行结果见另一篇博客）Part81

本文继续探究学Pytorch时，涉及到的python底层的一些知识。文章目录问：继承Module类构造模型时，背后是如何把自定义的子模块组装起来的？1Module初始化时会构建多个OrderedDict（有序字典）存放子模块2Python的魔法方法__setattr__()定义了类实例的属性赋值时的行为3Module类实例在属性赋值时会判断属性的类型存入对应的OrderedDict总结问：继承Mo

1.前言Pytorch的数据导入依靠torch.utils.data.DataLoader和torch.utils.data.Dataset（或torch.utils.data.IterableDataset）两个类来实现。2.torch.utils.data.DataLoader学习在torch.utils.data官方文档中提到，torch.utils.data.DataLoader是pyto

文章目录前言1.引入库2.读取数据3.数据处理（totensor,resize）4.重载网络模型和训练好的参数5.输入图片给模型前言摘要：最简单的推理网络组成（fromtudui）代码如下（示例）：1.引入库importtorchimporttorchvisionfromPILimportImagefromtorchimportnn2.读取数据image_path="../imgs/airplan

1.引入由【Pytorch学习笔记】002—线性模型。在简化目标函数为不含常数项的线性方程后，我们需要在w-cost曲线图中寻找一个最优的w值使得cost最小。

RNNclassModel(nn.Module):def__init__(self,config):super(Model,self).__init__()self.embedding=nn.Embedding.from_pretrained(config.embedding_pretrained,freeze=False)self.lstm=nn.LSTM(config.embed,config

用途：CNN一般用于图像处理中RNN一般用于自然语言处理特征的时序相关性：每一次训练都考虑到之前的结果（有了时序性的连接）前一时刻的隐层输出反过来作为下一次隐层输入的一部分存在问题：个人理解RNN网络会考虑到所有的之前的结果，如果时序很长，那必然会导致前后关联没那么大，这样效果不好LSTM：为解决这一问题，有选择性进行时序信息遗忘加入C参数控制单元，可以改变模型的复杂度，选择要保留的信息

主要看了莫烦老师的Pytorch教程，结合自己的理解和其他资料整理了第一次笔记。torch的tensor与Numpy数组之间的转换将torch的tensor转换为numpy数组：.numpy()；；将numpy数组转化为torch中的tensor：torch.from_numpy()；```pythonimporttorchimportnumpyasnpnp_data=np.arange(6).r

文章目录Torch对张量的计算Numpy对数组的计算张量和数组的转换Torch对张量的计算#pytorch张量importtorch'''张量定义'''a=torch.FloatTensor(2,3)#定义一个两行三列的张量b=torch.FloatTensor([2,3,4,5])#定义一个四行一列的张量，并给每个数字赋值c=torch.rand(2,3)#定义一个两行三列的张量，并以0~1之间

PyTorch了解与安装PyTorch是利用深度学习进行科学研究的重要工具，学术界常用的深度学习框架，简洁、高效、扩展性好。PyTorch的安装安装Anaconda创建虚拟环境（Windows在AnacondaPrompt进行）condacreate-npytorchpython=3.8查看环境是否安装成功condainfo--envs进入创建的pytorch环境condaactivatepyto

的详细解释pytorch常用的padding函数-慢行厚积-博客园padding=1表示，左右上下都是填充1，padding=(1,3)表示，输入卷积神经网络的图像，高度填充1,宽度填充3stride解释PyTorch

DataLoader是一个读取数据的接口，该接口的目的是根据batchsize的大小，是否shuffle等封装成一个BatchSize大小的Tensor，用于后面的训练。官方给出的声明是：DataLoader是：数据加载，由数据集和采样器组成，根据你设置好的参数，DataLoader这个类就会开始对数据进行初始化操作，在传参的同时实例化对象，如下：test_loader=DataLoader(da

Content：1.DataLoadertorch.utils.data.DataLoader2.Datasettorch.utils.data.Dataset3.图像预处理——transforms(1)transforms.CenterCrop从图像中心裁剪尺寸为size的图片(2)transforms.RandomCrop从图像中随机裁剪出尺寸为size的图片(3)transforms.Ran

注意事项：1.优化器参数的设置real_optim=torch.optim.SGD(nn_seq_1.parameters(),lr=0.01)#params=nn_seq_1.model是不正确的2.；利用损失反向传播，更新参数real_loss=loss(output,targets)#这是损失值，在损失图像上就是一个点，所以需要求这一点的梯度（这个可以对很多参数求梯度）real_optim.

基于经典网络训练图像分类数据预处理部分：可以利用torchvision.transforms模块进行数据增强，及数据预处理制作可以读取数据的dataloader网络模型设置：可以加载预训练模型，例如torchvision经典网络框架可以更改最后的head层训练自己的任务，大多为全连接层前几层多为特征提取我们可以只训练最后任务层网络模型保存