Pytorch学习笔记

Pytorch学习笔记----DRL

Pytorch--AdvancedCNNConvolutionalNeuralNetworkInceptionModule1X1convolutionImplementationofInceptionModuleDeepResidualLearningImplementationofsimpleResidualNetworkReferenceConvolutionalNeuralNetworkIn
pat12138·2023-04-02 00:43

数据集建立和导入

title:Pytorch学习笔记-数据集建立和导入学习笔记和实现代码详见如下：“”"官方教程：训练集和测试集下载“”"importtorchfromtorch.utils.dataimportDatasetfromtorchvisionimportdatasetsfromtorchvision.transformsimportToTensorimportmatplotlib.pyplotaspl
Yuzzz.·2023-04-01 02:42

pytorch快速入门

title:Pytorch学习笔记-Pytorch快速入门学习笔记和实现代码详见如下："""pytorch官网：https://pytorch.org/tutorials/beginner/basics
Yuzzz.·2023-04-01 02:41

pytorch格式变换

title:Pytorch学习笔记-数据格式变换学习笔记和实现代码详见如下：importtorchfromtorchvisionimportdatasetsfromtorchvision.transformsimportToTensor
Yuzzz.·2023-04-01 02:41

PyTorch学习笔记（六）模型定义

目录PyTorch模型定义的方式基础知识SequentialModuleListModuleDict三种方法的比较与适用场景利用模型块快速搭建复杂网络PyTorch修改模型修改模型层添加外部输入添加额外输出PyTorch模型定义的方式基础知识Module类是torch.nn模块里提供的一个模型构造类（nn.Module），是所有神经网络模块的基类，可以继承它来定义模型；PyTorch模型定义应包括
zhangmeizi1996·2023-03-29 20:06

PyTorch学习笔记：nn.CrossEntropyLoss——交叉熵损失

PyTorch学习笔记：nn.CrossEntropyLoss——交叉熵损失torch.nn.CrossEntropyLoss(weight=None,size_average=None,ignore_index
视觉萌新、·2023-03-28 23:41

PyTorch学习笔记：nn.KLDivLoss——KL散度损失

PyTorch学习笔记：nn.KLDivLoss——KL散度损失torch.nn.KLDivLoss(size_average=None,reduce=None,reduction='mean',log_target
视觉萌新、·2023-03-28 23:41

PyTorch学习笔记：nn.TripletMarginLoss——三元组损失

PyTorch学习笔记：nn.TripletMarginLoss——三元组损失torch.nn.TripletMarginLoss(margin=1.0,p=2.0,eps=1e-06,swap=False
视觉萌新、·2023-03-28 23:41

nn.AvgPool2d——二维平均池化操作

PyTorch学习笔记：nn.AvgPool2d——二维平均池化操作torch.nn.AvgPool2d(kernel_size,stride=None,padding=0,ceil_mode=False
视觉萌新、·2023-03-28 23:11

PyTorch学习笔记：nn.LeakyReLU——LeakyReLU激活函数

PyTorch学习笔记：nn.LeakyReLU——LeakyReLU激活函数功能：逐元素对数据应用如下函数公式进行激活LeakyReLU(x)=max⁡(0,x)+α∗min⁡(0,x)\text{LeakyReLU
视觉萌新、·2023-03-28 22:46

Pytorch学习笔记--多GPU并行训练时nn.ParameterList()为空的问题

目录1--前言2--报错代码3--解决方法1--前言最近在复现一篇Paper，其开源代码使用了nn.DataParallel()进行多GPU并行训练，同时使用nn.ParameterList()来构建参数列表；这时会出现一个Pytorch的Bug，即nn.ParameterList()在forward阶段会出现empty的错误，报错如下：①UserWarning:nn.ParameterListi
憨豆的小泰迪·2023-03-24 16:49

pytorch学习笔记（二）Tensor和autograd

文章目录Tensors（张量）autogradTensor类function类小结Tensors（张量）Tensors其实就是多维数组，Tensors类似于NumPy的ndarrays，同时Tensors可以使用GPU进行计算。构造一个5*3矩阵importtorchx=torch.empty(5,3)#不初始化x=torch.rand(5,3)#随机初始化x=torch.zeros(5,3,dt
Tra_cy·2023-03-22 11:13

Pytorch学习笔记（8）：正则化（L1、L2、Dropout）与归一化（BN、LN、IN、GN）

目录一、正则化之weight_decay（L2正则）1.1正则化及相关概念1.2正则化策略（L1、L2）（1）L1正则化（2）L2正则化1.3L2正则项——weight_decay二、正则化之Dropout2.1Dropout概念2.2nn.Dropout三、归一化之BatchNormalization（BN层）3.1BatchNormalization介绍3.2Pytorch的BatchNorm
路人贾'ω'·2023-03-08 22:27

Pytorch学习笔记（7）：优化器、学习率及调整策略、动量

目录一、优化器1.1优化器的介绍1.2optimizer的属性1.3optimizer的方法1.4常用优化器torch.optim.SGD二、学习率2.1学习率介绍2.2为什么要调整学习率2.3pytorch的六种学习率调整策略（1）StepLR（2）MultiStepLR（3）ExponentialLR（4）CosineAnnealingLR（5）ReduceLRonPlateau（6）Lamb
路人贾'ω'·2023-02-28 08:55

Pytorch学习笔记（5）：torch.nn---网络层介绍（卷积层、池化层、线性层、激活函数层）

目录一、卷积层—ConvolutionLayers1.11d/2d/3d卷积1.2卷积—nn.Conv2d()nn.Conv2d1.3转置卷积—nn.ConvTransposenn.ConvTranspose2d二、池化层—PoolingLayer（1）nn.MaxPool2d（2）nn.AvgPool2d（3）nn.MaxUnpool2d三、线性层—LinearLayernn.Linear四、激
路人贾'ω'·2023-02-20 07:56

Pytorch学习笔记（深度之眼）（6）之权值初始化

1、梯度消失与爆炸上面公式中，H1是上一层神经元的输出值，W2的梯度依赖于上一层的输出，如果H1的输出值趋向于零，W2的梯度也趋向于零，从而导致梯度消失。如果H1趋向于无穷大，那么W2也趋向于无穷大，从而导致梯度爆炸。从上面我们可以知道，要避免梯度消失或者梯度爆炸，就要严格控制网络输出层的输出值的范围，也就是每一层网络的输出值不能太大也不能太小。从公式推导可以发现，第一个隐藏层的输出值的方差变为n
liuyu进阶·2023-02-20 07:48

pytorch学习笔记十一：损失函数

一、损失函数是什么损失函数：衡量模型输出与真实标签之间的差异。与损失函数有关的还有代价函数和目标函数。损失函数（LossFunction）：计算一个样本的差异，Loss=f(y^,y)Loss=f\left(\hat{y},y\right)Loss=f(y^,y)代价函数（CostFunction）：计算整个训练集loss的一个平均值，cost=1N∑iNf(y^,y)cost=\frac{1}{
Dear_林·2023-02-20 07:43

pytorch学习笔记九：权值初始化

目录一、概念二、梯度消失与爆炸三、权值初始化方法1、Xavier初始化2、Kaiming初始化一、概念权值初始化是指在网络模型训练之前，对各节点的权值和偏置初始化的过程，正确的初始化会加快模型的收敛，从而加快模型的训练速度，而不恰当的初始化可能会导致梯度消失或梯度爆炸，最终导致模型无法训练。如上图所示的一个基本的CNN网络结构，数据在网络结构中流动时，会有如下的公式（默认没有偏置）：在反向传播的过
Dear_林·2023-02-20 07:42

pytorch学习笔记十：权值初始化的十种方法

在上一节中了解了为什么要进行权值初始化以及如何选择权值初始化方法，在这一节来了解一下pytroch中十种权值初始化方法一、权值初始化流程1、先设定什么层用什么初始化方法，初始化方法在torch.nn.init中给出；2、实例化一个模型之后，执行该函数，即可完成初始化。示例：definitialize_weights(self):forminself.modules:#对卷积层进行初始化ifisin
Dear_林·2023-02-20 07:42

Pytorch学习笔记（6）：模型的权值初始化与损失函数

目录前期回顾一、权值初始化1.1梯度消失与梯度爆炸1.2Xavier初始化nn.init.xavier_uniform_(tensor,gain=1.0)1.3Kaiming初始化nn.init.kaiming_normal_(tensor,a=0,mode=‘fan_in’,nonlinearity=‘leaky_relu’)1.4十种权重初始化方法二、损失函数2.1损失函数初步介绍2.2交叉熵
路人贾'ω'·2023-02-20 07:40

猫狗分类代码，跟着我一步步学习

一、transform理解参考：PyTorch学习笔记（三）：transforms的二十二个方法_TensorSense的博客-CSDN博客transform=transforms.Compose([transforms.Resize
Chowley·2023-02-06 13:18

pytorch 常用函数参数详解

1、torch.cat(inputs,dim=0)->Tensor参考链接：[Pytorch]详解torch.cat()Pytorch学习笔记(一)：torch.cat()模块的详解函数作用：cat是concatnate
LCG22·2023-02-06 02:17

Pytorch学习笔记（3）———transforms变换

Whytransforms?一般情况下收集到的图像样本在尺寸，亮度等方面存在差异，在深度学习中，我们希望样本分布是独立同分布的，因此需要对样本进行归一化预处理。有时候只能获取到少量的样本数据，获取数量较多的样本不容易。但是样本数量太少训练的模型精度会比较低，为了解决这样的问题，往往需要做数据增加dataarguement，数据增加的途径就是通过一些变换达到目的。pytorch中的transform
永不言弃的小颖子·2023-02-04 19:46

pytorch学习笔记四：数据的预处理模块

transforms是pytorch中常用的图像预处理方法，这个在torchvision计算机视觉工具包中。在安装pytorch时顺便安装了torchvision，在torchvision中，有三个主要的模块：●torchvision.transforms:常用的图像预处理方法，比如：标准化、中心化、旋转、翻转等；●torchvision.datasets:常用的数据集的dataset实现，例如：
Dear_林·2023-02-04 19:10

Pytorch学习笔记（3）：图像的预处理（transforms）

目录一、torchvision：计算机视觉工具包二、transforms的运行机制（1）torchvision.transforms：常用的图像预处理方法（2）transforms运行原理三、数据标准化transforms.Normalize()四、数据增强4.1transforms—数据裁剪（1）transforms.CentorCrop（2）transforms.RandomCrop（3）Ra
路人贾'ω'·2023-02-04 19:38

pytorch学习笔记.1 pytorch基础

目录基本数据：TensorTensor数据类型Tensor的创建与维度查看Tensor的组合和分块基本数据：TensorTensor，即张量，是pytorch中的基本操作对象。Tensor数据类型数据类型CPUTensorGPUTensor32位浮点torch.FloatTensortorch.cuda.FloatTensor64位浮点torch.DoubleTensortorch.cuda.Do
1900580·2023-02-04 15:42

Pytorch学习笔记--常用函数torch.optim.SGD()总结3

1--torch.optim.SGD()函数拓展importtorchLEARNING_RATE=0.01#梯度下降学习率MOMENTUM=0.9#冲量大小WEIGHT_DECAY=0.0005#权重衰减系数optimizer=torch.optim.SGD(net.parameters(),lr=LEARNING_RATE,momentum=MOMENTUM,weight_decay=WEIGH
憨豆的小泰迪·2023-02-04 10:56

PyTorch学习笔记（16）--在GPU上实现神经网络模型训练

PyTorch学习笔记（16）–在GPU上实现神经网络模型训练    本博文是PyTorch的学习笔记，第16次内容记录，主要介绍如何在GPU上实现神经网络模型训练。
我这一次·2023-02-04 10:56

Pytorch学习笔记---（一）

  以下笔记来自b站，一只小土堆大神的《PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】》，感谢Up主的辛苦付出，如有侵权，深表抱歉，请与我联系，删除相关内容！  再一次表示感谢！  每天学习一点点！一：Pytorch安装和工具1、Anacond安装2、Pytorch安装3、显卡配置4、注意：清华源安装比较快5、pycharmshift+enter自动跳到下一行句首。6、jupyte
CS搬运工·2023-02-04 10:25

pytorch学习笔记------迁移学习④

用训练好的模型对未知的图像进行预测'''加载训练模型需要对图像进行预处理严格按照网络需要的格式'''importnumpyasnptrain_on_gpu=Truedataiter=iter(dataloaders['valid'])images,labels=dataiter.next()model_ft.eval()iftrain_on_gpu:output=model_ft(images.c
cvks·2023-02-04 10:55

pytorch学习笔记1 - 数据集读取

前言要开始搞datascience了,最近在考虑一些AI结合security的事情,还比较迷茫,不过应该总能找到出路的,所以先不管学这个有什么意义了,直接开干技术.pytorch同TensorFlow一样,是datascience标配,所以必须好好学习blog主要参考b站up我是土堆的pytorch教学视频以及pytorch官方文档和源码torch包结构查看torch包的成员dir(torch)[
fa1c4·2023-02-04 10:53

pytorch学习笔记4 - 模型训练

模型训练example参考https://www.bilibili.com/video/BV1hE411t7RN?p=27训练一个十分类器数据集modelfromtorchimportnnclassTenClassifier(nn.Module):def__init__(self):super(TenClassifier,self).__init__()self.model=nn.Sequenti
fa1c4·2023-02-04 10:53

Pytorch学习笔记--0 What is Pytorch?

Pytorch学习笔记--0WhatisPytorch?写在最开始准备工作WhatisPytorch?
caiyyyyy·2023-02-04 10:51

pytorch学习笔记12-完整的模型训练套路

目录模型训练步骤各步骤如下argmax用法完整模型训练代码输出结果（部分）小细节模型训练步骤各步骤如下1.准备数据集2.查看数据集大小3.用dataloader加载数据集4.创建网络模型（一般存为一个model文件，在其中搭建网络模型）5.创建损失函数6.创建优化器7.设置训练网络参数（训练次数、测试次数、训练轮数）8.开始训练9.用tensorboard查看loss曲线10.保存每训练100步的
ThreeS_tones·2023-02-04 10:50

pytorch学习笔记13-利用GPU训练

目录GPU训练方式1方式1如何操作完整代码结果如果电脑上没有GPU，可以使用Google的colabGPU训练方式2方式2如何操作完整代码用Googlecolab的输出GPU训练方式1方式1如何操作找到神经网络模型、数据（包括输入、标签等）和损失函数，调用他们的.cuda()，然后再返回就可以了。对网络模型用cuda()：#...model=Model()iftorch.cuda.is_avail
ThreeS_tones·2023-02-04 10:47

pytorch学习笔记——设置需要学习的参数、优化器设置以及优化器学习率调度

#首先定义网络模型net=module()#定义一个optimizer类，这个类可以用来更新网络参数optimizer=torch.optim.SGD(net.parameters(),lr=0.01)#定义学习率调度器CosineLR=torch.optim.lr_scheduler.CosineAnnealingLR(optimizer_CosineLR,T_max=150,eta_min=0
phily123·2023-02-03 17:16

PyTorch学习笔记（3）dataset与dataloader

pytorch官网有大量数据集，可以通过函数调用的方式直接下载并使用，避免了繁琐的数据集搜集与整理工作。在官方文档中有详细的API说明与数据集介绍：https://pytorch.org/docs/stable/index.html文章目录torchvision中数据集的使用下载与查看在tensorboard中显示dataloader的使用torchvision中数据集的使用下载与查看这里下载CI
游星凌·2023-02-03 07:43

Pytorch学习笔记（2）：数据读取机制（DataLoader与Dataset）

目录一、DataLoadertorch.utils.data.Dataloader二、Datasettorch.utils.data.Dataset三、数据读取上节回顾：Pytorch学习笔记（1）：基本概念
路人贾'ω'·2023-02-03 07:37

Pytorch学习笔记（1）：基本概念、安装、张量操作、逻辑回归

目录一、Pytorch简介1.1Pytorch的诞生1.2Pytorch的发展1.3Pytorch的优点1.4Pytorch实现模型训练的5大要素1.5Pytorch主要模块二、Pytorch的安装三、张量的简介与创建3.1张量的简介3.2张量的创建3.2.1直接创建（1）torch.tensor()（2）torch.from_numpy(ndarry)3.2根据数值创建（1）torch.zero
路人贾'ω'·2023-02-03 07:07

Pytorch学习笔记（15）———模型的保存与加载

在深度学习中，模型的保存和加载很重要，当我们辛辛苦苦训练好的一个网络模型，自然需要将训练好的模型保存为文件。在测试使用时候，又需要将保存在磁盘的模型文件加载调用。在pytorch中网络模型定义为torch.nn.Module的子类的对象。因此模型的保存与加载涉及到２个重要概念——对象的序列化和反序列化。对象的序列化与反序列化序列化和反序列化听起来感觉高大上，其实是很常见的操作，下面举一个JAVA对
永不言弃的小颖子·2023-02-02 13:31

PyTorch学习笔记：使用state_dict来保存和加载模型

1.state_dict简介state_dict是Python的字典对象，可用于保存模型参数、超参数以及优化器（torch.optim）的状态信息。需要注意的是，只有具有可学习参数的层（如卷积层、线性层等）才有state_dict。下面就拿官方教程中的一个小示例来说明state_dict的使用：importtorchimporttorch.nnasnnimporttorch.optimasopti
牧羊女说·2023-02-02 13:54

Pytorch学习笔记【1】：Pytorch在win10下搭建cuda版本的环境

一.实验环境介绍anoconda(python3.7)cuda10.1pycharm二.安装anaconda到anaconda官网安装即可：下载好之后点击安装即可。如何检测conda装好了呢？在cmd里面打conda-V，不报错就安好了。三.安装cuda百度搜索cudadownload。进入官网，下载。安装好之后直接打开，可能要等一会，不要着急。需要一些准备准备好之后会开始安装引导上图的勾勾一定要
strong tyj·2023-02-02 11:29

pytorch学习笔记8-神经网络实战

目录CIFAR-10模型模型结构及卷积参数计算模型代码sequential的使用使用SummaryWriter中的add_graph()展示model正文CIFAR-10模型模型结构及卷积参数计算CIFAR10数据集中每张图片有三个通道，高和宽是32*32的，经过三次卷积和最大池化，展平后经过两次线性层得到最后的输出，每次卷积的卷积核为5*5，最大池化的池化核为2*2，具体过程如下。每张图片的维度
ThreeS_tones·2023-02-01 19:58

pytorch学习笔记10-现有网络模型的使用与修改

现有网络模型pytorch网络模型官方文档现有的torchvision中提供了许多常见的神经网络模型，这些模型主要包括：分类、语义分割、目标检测、视频分类等类型，其中分类主要针对图像分类，包括AlexNet、VGG、ResNet、GoogLeNet等网络。VGG-16模型认识VGG16VGG16模型之前的官方文档如果pretrained=True，说明这个网络模型中的参数在ImageNet数据集上
ThreeS_tones·2023-02-01 19:58

pytorch学习笔记11-网络模型的读取与保存

目录模型的保存方式一方式二模型的读取对应方式一对应方式二需要注意的问题模型的保存先引入vgg16模型（没有经过预训练的）importtorchvisionvgg16_false=torchvision.models.vgg16(pretained=False)方式一保存网络模型的结构和其中的参数torch.save(vgg16_false,"vgg16_method1.pth")在左侧可以看到已经
ThreeS_tones·2023-02-01 19:58

pytorch学习笔记9-损失函数与反向传播

目录1.损失函数2.PyTorch中的损失函数2.1nn.L1Loss2.2nn.MSELoss2.3nn.CrossEntropyLoss3.将交叉熵损失函数用到上节的神经网络结构中4.优化器正文1.损失函数作用：1.计算实际输出和目标之间的差距2.为我们更新输出提供一定依据（反向传播）2.PyTorch中的损失函数2.1nn.L1Lossimporttorchfromtorch.nnimpor
ThreeS_tones·2023-02-01 19:25

pytorch学习笔记（十九）：torchtext

ke1th2018-02-1113:47:0442430收藏113分类专栏：NLPpytorchdeeplearningpytorch学习笔记版权文章部分翻译自http://anie.me/On-Torchtext
AiA_AiA·2023-02-01 13:20

pytorch学习笔记----完整的训练套路

注意事项：1在训练的过重中喜欢将网络模型单独放在一个model.py文件里面，在训练脚本进行训练的时候只需要导入这个.py文件就可以了。除此之外，在模型脚本里面可以进行一定程度上的运行，防止网络出现问题。2.训练套路：下载数据集----》加载数据集------》定义网络模型-----》定义损失函数-----》定义学习率-------》定义优化器（可以搞个tensorboard）------>在ep
完◎笑·2023-01-30 13:20

【小土堆】Pytorch学习笔记_P27/28/29_完整的模型训练套路

（0）摘要#课程链接PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】_哔哩哔哩_bilibili#笔记内容（1）P27_完整模型训练的套路（一）（2）P28_完整模型训练的套路（二）（3）P29_完整模型训练的套路（三）（1）完整模型训练的套路（一）#（1）完整网络训练的搭建。1）规范化。创建models.py用于存放网络模型，这是一种规范。#-*-coding=utf-8-*-#g
惜年_night·2023-01-30 13:20

Pytorch学习笔记--Bilibili刘二大人Pytorch教学代码汇总（注释及运行结果）

目录Part103Gradient_Descent1Part203Gradient_Descent2Part305LinearRegressionPart406Logistic_RegressionPart507Multiple_Dimension_InputPart608DatasetandDataloaderPart709Softmax_Classifier（运行结果见另一篇博客）Part81
憨豆的小泰迪·2023-01-30 08:01
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他