Pytorch学习

PyTorch学习笔记：nn.KLDivLoss——KL散度损失

PyTorch学习笔记：nn.KLDivLoss——KL散度损失torch.nn.KLDivLoss(size_average=None,reduce=None,reduction='mean',log_target
视觉萌新、·2023-03-28 23:41

PyTorch学习笔记：nn.TripletMarginLoss——三元组损失

PyTorch学习笔记：nn.TripletMarginLoss——三元组损失torch.nn.TripletMarginLoss(margin=1.0,p=2.0,eps=1e-06,swap=False
视觉萌新、·2023-03-28 23:41

nn.AvgPool2d——二维平均池化操作

PyTorch学习笔记：nn.AvgPool2d——二维平均池化操作torch.nn.AvgPool2d(kernel_size,stride=None,padding=0,ceil_mode=False
视觉萌新、·2023-03-28 23:11

PyTorch学习笔记：nn.LeakyReLU——LeakyReLU激活函数

PyTorch学习笔记：nn.LeakyReLU——LeakyReLU激活函数功能：逐元素对数据应用如下函数公式进行激活LeakyReLU(x)=max⁡(0,x)+α∗min⁡(0,x)\text{LeakyReLU
视觉萌新、·2023-03-28 22:46

Pytorch学习——22种transforms数据预处理方法

一、图像增强数据增强又称为数据增广，数据扩增，它是对训练集进行变换，使训练集更丰富，从而让模型更具泛化能力二、transforms——裁剪1.transforms.CenterCrop功能：从图像中心裁剪图片size：所需裁剪图片尺寸2.transforms.RandomCrop(size,padding=None,pad_if_needed=False,fill=0,padding_mode='
东汄·2023-03-26 08:20

Pytorch学习记录-使用Pytorch进行深度学习，保存和加载模型

新建MicrosoftPowerPoint演示文稿(2).jpg保存和加载模型在完成60分钟入门之后，接下来有六节tutorials和五节关于文本处理的tutorials。争取一天一节。不过重点是关注神经网络构建和数据处理部分。本节主要是用于解决模型的保存和加载。会的直接跳过就好。我也只是做记录，这篇搞定就直接进入NLP部分。三个核心函数：torch.save：将序列化的对象保存在硬盘上，使用Py
我的昵称违规了·2023-03-25 09:20

Pytorch学习笔记--多GPU并行训练时nn.ParameterList()为空的问题

目录1--前言2--报错代码3--解决方法1--前言最近在复现一篇Paper，其开源代码使用了nn.DataParallel()进行多GPU并行训练，同时使用nn.ParameterList()来构建参数列表；这时会出现一个Pytorch的Bug，即nn.ParameterList()在forward阶段会出现empty的错误，报错如下：①UserWarning:nn.ParameterListi
憨豆的小泰迪·2023-03-24 16:49

Pytorch学习：张量和自动求导——搭建一个简单的神经网络

参考pytorch官方文档：https://pytorch.org/tutorials/beginner/pytorch_with_examples.html#id17（可能需要科学上网）当使用自动求导时(autograd)，网络的向前传播过程将会定义一个计算图，图中的结点由张量(tensor)构成，而运算过程将构成图的边(edge)。通过图的后向传播将会很容易实现对梯度的计算。如上所述，每一个张
Shawn0901·2023-03-23 07:44

pytorch学习笔记（二）Tensor和autograd

文章目录Tensors（张量）autogradTensor类function类小结Tensors（张量）Tensors其实就是多维数组，Tensors类似于NumPy的ndarrays，同时Tensors可以使用GPU进行计算。构造一个5*3矩阵importtorchx=torch.empty(5,3)#不初始化x=torch.rand(5,3)#随机初始化x=torch.zeros(5,3,dt
Tra_cy·2023-03-22 11:13

Pytorch学习

Pytorch1_手写字识别数据集的载入数据集展示网络搭建模型训练训练损失函数图模型预测下面将构造一个三层全连接层的神经网络来对手写数字进行识别。数据集的载入importtorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromtorchimportoptimimporttorchvisionfrommatplotlibimportpyplo
采蘑菇的csz·2023-03-14 07:35

二、pytorch主要组成模块——pytorch学习

1.pytorch基础配置#首先导入必须的包importosimportnumpyasnpimporttorchimporttorch.nnasnnfromtorch.utils.dataimportDataset,DataLoaderimporttorch.optimasoptimizer#如下几个超参数可以统一设置，方便后续调试时修改batch_size=16#批次的大小lr=1e-4#优化器
一米米倾磬·2023-03-14 06:57

基于PyTorch的深度学习--创建卷积神经网络-面向对象的神经网络

本篇文章是翻译：https://deeplizard.com网站中的关于Pytorch学习的文章，供学习使用。
三哥_DH·2023-03-13 20:25

PyTorch学习

1.PyTorch的数据结构torch用张量来保存数据，张量与numpy的数组可以相互转化。importtorchimportnumpyasnpnp_data=np.arange(6).reshape((2,3))torch_data=torch.from_numpy(np_data)tensor2array=torch_data.numpy()print('\nnumpy:',np_data,'
恰似一碗咸鱼粥·2023-03-12 11:20

pytorch学习经验（六）torch.where()：根据条件修改张量值

今天写代码的时候遇到一个问题，网络前向过程中有一个张量A，我想把张量A中的大于0的值变成张量B中对应的值，最初的实现是：A[A>0]=B[A>0]然后运行起来就报错了，原因是这个操作属于in-place操作，而pytorch在涉及到求梯度的tensor时，是不允许对这些tensor做原地操作的，否则在反向传播的时候，这些张量计算出来的梯度发生变化。所以我后来采用了torch.where()方法：t
nowherespyfly·2023-03-10 16:06

pytorch

pytorch学习第一天pytorch是一款深度学习框架，对模型进行加速训练。
戴眼镜的孙猴子·2023-03-08 22:29

Pytorch学习笔记（8）：正则化（L1、L2、Dropout）与归一化（BN、LN、IN、GN）

目录一、正则化之weight_decay（L2正则）1.1正则化及相关概念1.2正则化策略（L1、L2）（1）L1正则化（2）L2正则化1.3L2正则项——weight_decay二、正则化之Dropout2.1Dropout概念2.2nn.Dropout三、归一化之BatchNormalization（BN层）3.1BatchNormalization介绍3.2Pytorch的BatchNorm
路人贾'ω'·2023-03-08 22:27

Pytorch学习笔记（7）：优化器、学习率及调整策略、动量

目录一、优化器1.1优化器的介绍1.2optimizer的属性1.3optimizer的方法1.4常用优化器torch.optim.SGD二、学习率2.1学习率介绍2.2为什么要调整学习率2.3pytorch的六种学习率调整策略（1）StepLR（2）MultiStepLR（3）ExponentialLR（4）CosineAnnealingLR（5）ReduceLRonPlateau（6）Lamb
路人贾'ω'·2023-02-28 08:55

Pytorch学习笔记（5）：torch.nn---网络层介绍（卷积层、池化层、线性层、激活函数层）

目录一、卷积层—ConvolutionLayers1.11d/2d/3d卷积1.2卷积—nn.Conv2d()nn.Conv2d1.3转置卷积—nn.ConvTransposenn.ConvTranspose2d二、池化层—PoolingLayer（1）nn.MaxPool2d（2）nn.AvgPool2d（3）nn.MaxUnpool2d三、线性层—LinearLayernn.Linear四、激
路人贾'ω'·2023-02-20 07:56

Pytorch学习笔记（深度之眼）（6）之权值初始化

1、梯度消失与爆炸上面公式中，H1是上一层神经元的输出值，W2的梯度依赖于上一层的输出，如果H1的输出值趋向于零，W2的梯度也趋向于零，从而导致梯度消失。如果H1趋向于无穷大，那么W2也趋向于无穷大，从而导致梯度爆炸。从上面我们可以知道，要避免梯度消失或者梯度爆炸，就要严格控制网络输出层的输出值的范围，也就是每一层网络的输出值不能太大也不能太小。从公式推导可以发现，第一个隐藏层的输出值的方差变为n
liuyu进阶·2023-02-20 07:48

pytorch学习笔记十一：损失函数

一、损失函数是什么损失函数：衡量模型输出与真实标签之间的差异。与损失函数有关的还有代价函数和目标函数。损失函数（LossFunction）：计算一个样本的差异，Loss=f(y^,y)Loss=f\left(\hat{y},y\right)Loss=f(y^,y)代价函数（CostFunction）：计算整个训练集loss的一个平均值，cost=1N∑iNf(y^,y)cost=\frac{1}{
Dear_林·2023-02-20 07:43

pytorch学习笔记九：权值初始化

目录一、概念二、梯度消失与爆炸三、权值初始化方法1、Xavier初始化2、Kaiming初始化一、概念权值初始化是指在网络模型训练之前，对各节点的权值和偏置初始化的过程，正确的初始化会加快模型的收敛，从而加快模型的训练速度，而不恰当的初始化可能会导致梯度消失或梯度爆炸，最终导致模型无法训练。如上图所示的一个基本的CNN网络结构，数据在网络结构中流动时，会有如下的公式（默认没有偏置）：在反向传播的过
Dear_林·2023-02-20 07:42

pytorch学习笔记十：权值初始化的十种方法

在上一节中了解了为什么要进行权值初始化以及如何选择权值初始化方法，在这一节来了解一下pytroch中十种权值初始化方法一、权值初始化流程1、先设定什么层用什么初始化方法，初始化方法在torch.nn.init中给出；2、实例化一个模型之后，执行该函数，即可完成初始化。示例：definitialize_weights(self):forminself.modules:#对卷积层进行初始化ifisin
Dear_林·2023-02-20 07:42

Pytorch学习笔记（6）：模型的权值初始化与损失函数

目录前期回顾一、权值初始化1.1梯度消失与梯度爆炸1.2Xavier初始化nn.init.xavier_uniform_(tensor,gain=1.0)1.3Kaiming初始化nn.init.kaiming_normal_(tensor,a=0,mode=‘fan_in’,nonlinearity=‘leaky_relu’)1.4十种权重初始化方法二、损失函数2.1损失函数初步介绍2.2交叉熵
路人贾'ω'·2023-02-20 07:40

MacOS Pytorch 机器学习环境搭建

学习Pytorch，首先要搭建好环境，这里将采用Anoconda+Pytorch+PyCharm来一起构建Pytorch学习环境。
攻城狮随笔·2023-02-17 18:00

pytorch学习记录——线性模型

从最简单的线性模型来体验pytorch的整个流程1、DataSet，2、Model，根据数据集选择适合的模型，如：神经网络，决策树等等3、Training，4、inferring，用于推理工作举个例子：下面是数据集importnumpyasnpimportmatplotlib.pyplotasplt#preparethetrainsetx_data=[1.0,2.0,3.0]y_data=[2.0
①gè∧の哭泣·2023-02-07 11:32

Pytorch学习——LSTM与LSTMCell

nn.LSTM()该模块一次构造完若干层的LSTM。构造方法model=nn.LSTM(2,2,10,batch_first=True)"""参数说明：-feature_len:特征的维度-hidden_len:隐藏层的个数-layer_num:每个时间步所对应的模型层数-batch_first:用来指示数据应该以什么形式来给，默认为False，数据形状(seq_len,batch,feature
哆啦A梦！！！·2023-02-07 07:31

2.1

精度文章1/4，如果更多就更好啦~（完成）复习RNN（pytorch学习）完成项目（未完成）GMM学习完毕（未完成）多陪朋友，多干活少胡思乱想。（未完成）继续早睡早起读书看报看电影（完成）
谁要陪我吃火锅·2023-02-06 18:07

猫狗分类代码，跟着我一步步学习

一、transform理解参考：PyTorch学习笔记（三）：transforms的二十二个方法_TensorSense的博客-CSDN博客transform=transforms.Compose([transforms.Resize
Chowley·2023-02-06 13:18

ResNet50《pytorch学习篇》

引言：resNet50网络作为res网络家族中的一员，特别强调的是残差网络是何大神提出的，轰动世界的大江南北，主要是因为：当时的卷积神经网络主要通过不断地增加卷积层来提取图像的特征，但是这会引发一个问题-----梯度爆炸问题或者梯度消失问题，也就是说卷积层的数量设置，必须有一定的限制，否则会出现物极必反的现象，然而此时，和大神就提出了残差网络，成功地解决了此类问题，也为自己在国际深度学习的领域奠定
桀骜不驯的山里男人·2023-02-06 11:00

pytorch 常用函数参数详解

1、torch.cat(inputs,dim=0)->Tensor参考链接：[Pytorch]详解torch.cat()Pytorch学习笔记(一)：torch.cat()模块的详解函数作用：cat是concatnate
LCG22·2023-02-06 02:17

Pytorch学习之LSTM预测航班

LSTM长短时神经网络预测航班序列本文通过LSTM长短时记忆神经网络，来预测航班信息。航班数据集来自https://github.com/mwaskom/seaborn-data的flights.csv本文讨论最多的问题：1、本数据集分割存在数据泄漏。代码取data_X,data_Y=create_dataset(dataset)，根据设定的lookback可以获得数据量为len(dataset)
骆旺达·2023-02-05 14:49

Pytorch学习笔记（3）———transforms变换

Whytransforms?一般情况下收集到的图像样本在尺寸，亮度等方面存在差异，在深度学习中，我们希望样本分布是独立同分布的，因此需要对样本进行归一化预处理。有时候只能获取到少量的样本数据，获取数量较多的样本不容易。但是样本数量太少训练的模型精度会比较低，为了解决这样的问题，往往需要做数据增加dataarguement，数据增加的途径就是通过一些变换达到目的。pytorch中的transform
永不言弃的小颖子·2023-02-04 19:46

pytorch学习笔记四：数据的预处理模块

transforms是pytorch中常用的图像预处理方法，这个在torchvision计算机视觉工具包中。在安装pytorch时顺便安装了torchvision，在torchvision中，有三个主要的模块：●torchvision.transforms:常用的图像预处理方法，比如：标准化、中心化、旋转、翻转等；●torchvision.datasets:常用的数据集的dataset实现，例如：
Dear_林·2023-02-04 19:10

Pytorch学习笔记（3）：图像的预处理（transforms）

目录一、torchvision：计算机视觉工具包二、transforms的运行机制（1）torchvision.transforms：常用的图像预处理方法（2）transforms运行原理三、数据标准化transforms.Normalize()四、数据增强4.1transforms—数据裁剪（1）transforms.CentorCrop（2）transforms.RandomCrop（3）Ra
路人贾'ω'·2023-02-04 19:38

Pytorch学习（1）：张量、torch.autpgrad

Pytorch学习张量学习1、张量初始化的方法1、由原始数据直接生成张量，张量的类型由原始数据的类型决定data=[[1,2],[3,4]]x_torch=torch.tensor(data)2、通过numpy
看见你hc·2023-02-04 18:02

pytorch学习笔记.1 pytorch基础

目录基本数据：TensorTensor数据类型Tensor的创建与维度查看Tensor的组合和分块基本数据：TensorTensor，即张量，是pytorch中的基本操作对象。Tensor数据类型数据类型CPUTensorGPUTensor32位浮点torch.FloatTensortorch.cuda.FloatTensor64位浮点torch.DoubleTensortorch.cuda.Do
1900580·2023-02-04 15:42

Pytorch学习笔记--常用函数torch.optim.SGD()总结3

1--torch.optim.SGD()函数拓展importtorchLEARNING_RATE=0.01#梯度下降学习率MOMENTUM=0.9#冲量大小WEIGHT_DECAY=0.0005#权重衰减系数optimizer=torch.optim.SGD(net.parameters(),lr=LEARNING_RATE,momentum=MOMENTUM,weight_decay=WEIGH
憨豆的小泰迪·2023-02-04 10:56

PyTorch学习笔记（16）--在GPU上实现神经网络模型训练

PyTorch学习笔记（16）–在GPU上实现神经网络模型训练    本博文是PyTorch的学习笔记，第16次内容记录，主要介绍如何在GPU上实现神经网络模型训练。
我这一次·2023-02-04 10:56

Pytorch学习笔记---（一）

  以下笔记来自b站，一只小土堆大神的《PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】》，感谢Up主的辛苦付出，如有侵权，深表抱歉，请与我联系，删除相关内容！  再一次表示感谢！  每天学习一点点！一：Pytorch安装和工具1、Anacond安装2、Pytorch安装3、显卡配置4、注意：清华源安装比较快5、pycharmshift+enter自动跳到下一行句首。6、jupyte
CS搬运工·2023-02-04 10:25

pytorch学习笔记------迁移学习④

用训练好的模型对未知的图像进行预测'''加载训练模型需要对图像进行预处理严格按照网络需要的格式'''importnumpyasnptrain_on_gpu=Truedataiter=iter(dataloaders['valid'])images,labels=dataiter.next()model_ft.eval()iftrain_on_gpu:output=model_ft(images.c
cvks·2023-02-04 10:55

pytorch学习笔记1 - 数据集读取

前言要开始搞datascience了,最近在考虑一些AI结合security的事情,还比较迷茫,不过应该总能找到出路的,所以先不管学这个有什么意义了,直接开干技术.pytorch同TensorFlow一样,是datascience标配,所以必须好好学习blog主要参考b站up我是土堆的pytorch教学视频以及pytorch官方文档和源码torch包结构查看torch包的成员dir(torch)[
fa1c4·2023-02-04 10:53

pytorch学习笔记4 - 模型训练

模型训练example参考https://www.bilibili.com/video/BV1hE411t7RN?p=27训练一个十分类器数据集modelfromtorchimportnnclassTenClassifier(nn.Module):def__init__(self):super(TenClassifier,self).__init__()self.model=nn.Sequenti
fa1c4·2023-02-04 10:53

Pytorch学习笔记--0 What is Pytorch?

Pytorch学习笔记--0WhatisPytorch?写在最开始准备工作WhatisPytorch?
caiyyyyy·2023-02-04 10:51

pytorch学习笔记12-完整的模型训练套路

目录模型训练步骤各步骤如下argmax用法完整模型训练代码输出结果（部分）小细节模型训练步骤各步骤如下1.准备数据集2.查看数据集大小3.用dataloader加载数据集4.创建网络模型（一般存为一个model文件，在其中搭建网络模型）5.创建损失函数6.创建优化器7.设置训练网络参数（训练次数、测试次数、训练轮数）8.开始训练9.用tensorboard查看loss曲线10.保存每训练100步的
ThreeS_tones·2023-02-04 10:50

pytorch学习笔记13-利用GPU训练

目录GPU训练方式1方式1如何操作完整代码结果如果电脑上没有GPU，可以使用Google的colabGPU训练方式2方式2如何操作完整代码用Googlecolab的输出GPU训练方式1方式1如何操作找到神经网络模型、数据（包括输入、标签等）和损失函数，调用他们的.cuda()，然后再返回就可以了。对网络模型用cuda()：#...model=Model()iftorch.cuda.is_avail
ThreeS_tones·2023-02-04 10:47

pytorch学习中的基础笔记（二）

一、损失函数与反向传播lossfunction（越小越好）：1.计算实际输出与目标输出之间的差距；2.为我们更新输出提供一定的依据（反向传播）importtorchfromtorchimportnnfromtorch.nnimportL1Lossinputs=torch.tensor([1,2,3],dtype=float)targets=torch.tensor([1,2,5],dtype=fl
xigu7505·2023-02-04 08:35

pytorch学习中的基础笔记（一）

一、基础重要函数dir()：查看help()：帮助Dataset：提供一种方式去获取数据及其对应的label值Dataloader：为后面网络提供不同的数据形式二、tensorboardSummaryWriter(“logs”)：在对应的文件夹会生成“logs”文件夹从PIL到numpy，需要在add_image()中指定shape每一个数字/维表示的含义fromtorch.utils.tenso
xigu7505·2023-02-04 08:05

pytorch学习笔记——设置需要学习的参数、优化器设置以及优化器学习率调度

#首先定义网络模型net=module()#定义一个optimizer类，这个类可以用来更新网络参数optimizer=torch.optim.SGD(net.parameters(),lr=0.01)#定义学习率调度器CosineLR=torch.optim.lr_scheduler.CosineAnnealingLR(optimizer_CosineLR,T_max=150,eta_min=0
phily123·2023-02-03 17:16

PyTorch学习笔记（3）dataset与dataloader

pytorch官网有大量数据集，可以通过函数调用的方式直接下载并使用，避免了繁琐的数据集搜集与整理工作。在官方文档中有详细的API说明与数据集介绍：https://pytorch.org/docs/stable/index.html文章目录torchvision中数据集的使用下载与查看在tensorboard中显示dataloader的使用torchvision中数据集的使用下载与查看这里下载CI
游星凌·2023-02-03 07:43

Pytorch学习笔记（2）：数据读取机制（DataLoader与Dataset）

目录一、DataLoadertorch.utils.data.Dataloader二、Datasettorch.utils.data.Dataset三、数据读取上节回顾：Pytorch学习笔记（1）：基本概念
路人贾'ω'·2023-02-03 07:37
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他