Pytorch学习笔记第2页

PyTorch学习笔记（8）--神经网络：非线性激活

PyTorch学习笔记（8）–神经网络：非线性激活本博文是PyTorch的学习笔记，第8次内容记录，主要介绍神经网络非线性激活函数的基本使用。

我这一次·2023-10-25 11:18

【Pytorch】Pytorch学习笔记02 - 单变量时间序列 LSTM

目录说明简单神经网络LSTM原理PytorchLSTM生成数据初始化前向传播方法训练模型自动化模型构建总结参考文献说明这篇文章主要介绍如何使用PyTorch的API构建一个单变量时间序列LSTM。文章首先介绍了LSTM，解释了它们在时间序列数据中的简单性和有效性。然后，文章解释了如何使用前向方法初始化LSTM，包括定义输入和输出形状，训练模型以及自动化模型构建。最后，文章总结了从头构建LSTM所涉

KmBase·2023-10-25 07:46

Pytorch学习笔记:RNN的原理及其手写复现

目录参考链接如下:RNN网络模型结构单向循环神经网络双向循环神经网络RNN应用场景类型onetomany(例如诗歌生成)manytoone(文本情感分类)manytomany(词法识别,机器翻译)Pytorch官网RNN介绍参数单向单层双向单层比较双向单层和单向单层单向RNN与双向RNN的逐行实现参考链接如下:视频链接:29、PyTorchRNN的原理及其手写复现_哔哩哔哩_bilibili博客链

后来后来啊·2023-10-21 16:12

PyTorch学习笔记（五）：模型选择、欠拟合、过拟合和应对方法

PyTorch学习笔记（五）：模型选择、欠拟合、过拟合和应对方法模型选择、欠拟合和过拟合训练误差和泛化误差模型选择验证数据集KKK折交叉验证欠拟合和过拟合模型复杂度训练数据集大小多项式函数拟合实验生成数据集定义

FriendshipT·2023-10-05 18:16

pytorch梯度下降函数_PyTorch学习笔记2 - 梯度下降

1在numpy和pytorch实现梯度下降法(线性回归)梯度下降法的一般步骤为：(1)设定初始值(2)求取梯度(3)在梯度方向上进行参数的更新1.1Numpy版本假设欲拟合的目标函数为y=2*x1-4*x2.这是一个2元线性函数，自变量x是2维向量。通过梯度下降求解最优参数的代码如下：importnumpyasnpimportmatplotlib.pyplotaspltfrommpl_toolki

weixin_39636057·2023-10-03 23:47

Pytorch学习笔记——梯度下降算法

随机梯度下降算法的Python代码实现。与梯度下降算法不同的是随机梯度下降算法，随机梯度下降算法(SGD,StochasticGradientDescent)是从样本中每轮随机选一个。这样做的好处是：若在鞍点时，在梯度下降算法中，使用的是所有样本（可能带有噪声的）计算为0，必不可能向前推动。而使用单个样本计算出来，不一定是每一个都会计算为0，有随机噪声会更好的推进向前。也就是如果取所有样本的话，是

DK_521·2023-10-03 23:46

PyTorch学习笔记（四）：Tensor合并与分割

cata=torch.rand(4,32,8)b=torch.rand(5,32,8)print(torch.cat([a,b],dim=0).shape)#torch.Size([9,32,8])stack:createnewdima=torch.rand(32,8)b=torch.rand(32,8)print(torch.stack([a,b],dim=0).shape)#torch.Siz

ICDAT_GO·2023-09-26 19:42

pytorch学习笔记——BCE与CE

BCELoss的话只需要网络输出一个通道，CELoss(CrossEntropyLoss)需要输出n_class个通道。对于二分类任务可以使用CELoss输出两个通道，也可以使用BCELoss输出一个通道。https://www.jianshu.com/p/5b01705368bbhttps://zhuanlan.zhihu.com/p/372628727https://zhuanlan.zhih

phily123·2023-09-26 05:32

Pytorch学习笔记（模型验证/测试）

模型验证模型验证（测试，demo）：利用已经训练好的模型，然后给它提供输入进行测试验证。importtorchimporttorchvision.transformsfromPILimportImagefromtorchimportnn#需要测试的图片image_path="../imgs/airplane.png"image=Image.open(image_path)image=image.c

高朗·2023-09-23 03:38

PyTorch学习笔记（四） -------卷积层

什么是卷积？来看这张图输入图像是224*224*3即图片尺寸是224*224，3个通道；输出图片尺寸是224*224，64个通道个人认为，卷积就是图片经过卷积核的映射过程，如下图所示什么是通道？在卷积操作中一般要求设置的in_channel和out_channel在一遍jpg，png图片中，in_channel=3，为RGB三个通道，RGB的不同可以调整图片的色彩out_channel则表示卷积核

清忖灬·2023-09-21 01:27

PyTorch学习笔记（五） ---------最大池化和非线性激活

一、最大池化类似于卷积操作，这里最大池化的过程与卷积有部分相似之处，不多赘述最大池化是为了保留数据特征，减少数据量classModule(nn.Module):def__init__(self):super(Module,self).__init__()#父类继承self.maxpool1=MaxPool2d(kernel_size=3,ceil_mode=True)#kernel_size=3表

清忖灬·2023-09-21 01:57

Pytorch学习笔记（模型训练）

模型训练在同一个包下创建train.py和model.py，按照步骤先从数据处理，模型架构搭建，训练测试，统计损失，如下面代码所示train.pyimporttorch.optimimporttorchvisionfromtorchimportnnfromtorch.utils.dataimportDataLoaderfromtorch.utils.tensorboardimportSummary

高朗·2023-09-17 00:42

小土堆pytorch学习笔记

想入门pytorch强化学习，就去找pytorch的课来看。B站上播放量最高的就是小土堆的课，整体跟下来感觉内容还是很详细的，但和我的预期不太一样，这个是DL的不是RL的，不过作为对于pytorch使用的初期了解也是很好的，这篇博客就把整个学习过程做一个梳理。注意：本笔记使用的数据集全部都是CIFAR10，下载比较简单~，下面开始数据读取在读取之前，需要先准备好数据了，对于CIFAR1

DWQY·2023-09-15 09:43

PyTorch学习笔记：nn.SmoothL1Loss——平滑L1损失

PyTorch学习笔记：nn.SmoothL1Loss——平滑L1损失torch.nn.SmoothL1Loss(size_average=None,reduce=None,reduction='mean

视觉萌新、·2023-09-13 09:09

PyTorch学习笔记（一）：基本操作

PyTorch学习笔记（一）：基本操作简介环境搭建数据操作Tensor创建Tensor获取Tensor形状加法操作索引改变形状线性代数广播机制内存开销Tensor与Numpy相互转换Tensor在GPU

FriendshipT·2023-08-30 23:43

PyTorch学习笔记

PyTorch学习笔记1PyTorch简介与安装2PyTorch的基本操作2.1张量的创建2.2张量的属性2.3张量的运算2.4获取张量元素2.5类型转换3Pytorch中的autograd3.1torch.Tensor

夏木夕·2023-08-26 08:58

PyTorch学习笔记（十七）——完整的模型验证（测试，demo）套路

完整代码：importtorchimporttorchvisionfromPILimportImagefromtorchimportnnimage_path="../imgs/dog.png"image=Image.open(image_path)print(image)#因为png格式是四个通道，除了RGB三通道外，还有一个透明度通道image=image.convert("RGB")trans

小乖路路通·2023-08-21 02:03

PyTorch学习笔记（十五）——完整的模型训练套路

以CIFAR10数据集为例，分类问题（10分类）model.pyimporttorchfromtorchimportnn#搭建神经网络classMyNN(nn.Module):def__init__(self):super(MyNN,self).__init__()self.model=nn.Sequential(nn.Conv2d(3,32,5,1,2),nn.MaxPool2d(2),nn.C

小乖路路通·2023-08-21 02:02

PyTorch学习笔记（十六）——利用GPU训练

一、方式一网络模型、损失函数、数据（包括输入、标注）找到以上三种变量，调用它们的.cuda()，再返回即可iftorch.cuda.is_available():mynn=mynn.cuda()iftorch.cuda.is_available():loss_function=loss_function.cuda()fordataintrain_dataloader:imgs,targets=da

小乖路路通·2023-08-21 02:02

Pytorch学习笔记1——Pytorch基础

Pytorch学习笔记1——Pytorch基础1.张量(Tensor)张量的英文是Tensor，它是PyTorch里面基础的运算单位，与Numpy中的ndarray相同都表示的是一个多维的矩阵。

Kadima°·2023-08-21 02:02

PyTorch学习笔记1——PyTorch介绍

PyTorch是Torch在Python上的衍生，与TensorFlow不同的是，它在搭建神经网络时不是先建立好一个静态图，然后再把数据放到图计算，而是一个动态的过程，边搭图边计算。PyTorch与Numpy对比：Torch自称为神经网络界的Numpy，因为他能将torch产生的tensor放在GPU中加速运算，就像Numpy会把array放在CPU中加速运算。不过，torch和Numpy能够很好

pissjello·2023-08-21 02:02

PyTorch学习笔记（十三）——现有网络模型的使用及修改

以分类模型的VGG为例vgg16_false=torchvision.models.vgg16(weights=False)vgg16_true=torchvision.models.vgg16(weights=True)设置为False的情况，相当于网络模型中的参数都是初始化的、默认的设置为True时，网络模型中的参数在数据集上是训练好的，能达到比较好的效果print(vgg16_true)VG

小乖路路通·2023-08-19 08:12

PyTorch学习笔记（十四）——网络模型的保存与读取

两种方式保存和加载模型方式一保存模型不仅保存了网络模型的结构，也保存了网络模型的参数importtorchimporttorchvisionvgg16=torchvision.models.vgg16(weights=False)torch.save(vgg16,"vgg16_method1.pth")加载模型打印出的是网络模型的结构importtorchmodel=torch.load("vgg

小乖路路通·2023-08-19 08:40

pytorch学习笔记-----Resnet 残差网络论文学习

发现问题：深层网络训练的效果反而不如浅层网络效果解决办法：一方面更深卷积，另一方面要对未卷积之前的进行映射（个人理解即相当于未进网络的图片分成两条路一条走网络，一条直接拿过来，可以通过训练对两条路的训练效果进行比较调整比重，保证训练的结果至少不比未经网络之前的差）Resnet网络中体现：每个模块都要相上述方法两条路进网络，对于特征图数不同的，我们可以进行卷积操作来增加特征图数量（要求：两条路最终输

cvks·2023-08-13 06:55

Pytorch学习笔记:ResNet

Pytorch学习笔记:ResNet1.残差块2.残差网络结构2.1虚线与实线连接2.2BatchNormalization3.网络搭建3.118,34层网络的残差块3.250,101,152层网络的残差块

爱喝汽水的喵·2023-08-13 06:25

pytorch学习笔记 torchnn.ModuleList

1nn.ModuleList原理nn.ModuleList，它是一个储存不同module，并自动将每个module的parameters添加到网络之中的容器。你可以把任意nn.Module的子类(比如nn.Conv2d,nn.Linear之类的)加到这个list里面，方法和Python自带的list一样，无非是extend，append等操作。但不同于一般的list，加入到nn.ModuleLis

UQI-LIUWJ·2023-08-11 20:30

Pytorch学习笔记 | 构建神经网络模型 | 提升效果的优化方法

数据集下载Python深度学习018：MNIST数据集下载|将数值型数据转化成图片代码importpandasaspdimportmatplotlib.pyplotaspltimporttorchimporttorch.nnasnnfromtorch.utils.dataimportDataset#构建一个神经网络分类器classClassifier(nn

惊鸿若梦一书生·2023-08-04 02:41

Pytorch学习笔记 | 利用线性回归实现最简单的梯度下降 | 含代码和数据

代码importtorchimportnumpyasnpimportmatplotlib.pyplotaspltimportpandasaspddefmake_linear_regression_data():x=np.linspace(start=10

惊鸿若梦一书生·2023-07-26 03:20

PyTorch学习笔记（1）

PyTorch学习笔记（1）文章目录PyTorch学习笔记（1）常见函数学习1.torch.rand()2.torch.randn()3.torch.mm()4.torch.t()5.torch.item

CarnivoreRabbit·2023-07-25 07:02

pytorch学习笔记（三）---transforms

本篇自学笔记来自于b站《PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】》，Up主讲的非常通俗易懂，文章下方有视频连接，如有需要可移步up主讲解视频，如有侵权，实非故意，深表歉意，请与我联系，删除相关内容！本篇笔记主要学习了pytorch中的transforms类的用法，包括ToTensor,Normalize,Resize,Compose以及RandomCrop的用法演示。首先介绍

橘春十三99·2023-07-21 09:07

pytorch学习笔记——timm库

当使用ChatGPT帮我们工作的时候，确实很大一部分人就会失业，当然也有很大一部分人收益其中。我今天继续使用其帮我了解新的内容，也就是timm库。毫不夸张的说，ChatGPT比百分之80的博客讲的更清楚更好，仅次于源码。当提到计算机视觉的深度学习框架时，PyTorch无疑是最受欢迎的选择之一。PyTorch拥有强大的自动求导功能、易于使用的API和广泛的社区支持。而针对计算机视觉任务，timm库则

快乐无限出发·2023-07-20 08:34

Pytorch学习笔记（1）

目录1.张量（Tensors）2.自动求导（AutomaticDifferentiation）3.神经网络的构建和训练送书活动PyTorch是一个基于Python的开源机器学习库，广泛应用于深度学习和人工智能领域。它提供了丰富的工具和函数，方便我们构建、训练和部署神经网络模型。本文将围绕以下几个关键主题展开：张量（Tensors）：PyTorch中的数据基本单位。自动求导（AutomaticDif

山河亦问安·2023-07-18 23:32

Pytorch学习笔记——数据类型转换总结

1.Tensor与Numpy之间的相互转化tensor转numpya=torch.ones([2,5])b=a.numpy()numpy转tensora=np.ones([2,5])b=torch.from_numpy(a)2.Tensor与list之间的相互转化tensor转lista=torch.ones([1,5])b=a.tolist()list转tensora=list(range(1,

Kadima°·2023-07-17 21:21

损失函数：IoU、GIoU、DIoU、CIoU、EIoU、alpha IoU、SIoU、WIoU超详细精讲及Pytorch实现

一些常见的损失函数大家可以看我的这篇文章：Pytorch学习笔记（6）：模型的权值初始化与损失函数这篇我们主要讲

路人贾'ω'·2023-06-24 04:33

Pytorch学习笔记#2: 搭建神经网络训练MNIST手写数字数据集

学习自https://pytorch.org/tutorials/beginner/basics/quickstart_tutorial.html导入并预处理数据集pytorch中数据导入和预处理主要用torch.utils.data.DataLoader和torch.utils.data.DatasetDataset存储样本及其相应的标签，DataLoader在数据上生成一个可迭代对象(Data

河南老♂乡唐可可·2023-06-16 04:06

Pytorch学习笔记#1：拟合函数/梯度下降

学习自https://pytorch.org/tutorials/beginner/pytorch_with_examples.html概念PytorchTensor在概念上和Numpy的array一样是一个nnn维向量的。不过Tensor可以在GPU中进行计算，且可以跟踪计算图（computationalgraph）和梯度（gradients）。手动梯度下降拟合函数我们用三次函数去拟合任意函数。

河南老♂乡唐可可·2023-06-16 04:05

pytorch学习笔记（十四）——LOSS及其梯度

LOSS及其梯度1.MSE=∑[−(+)]²2−=||−（+）||²=(−(+))²torch.norm(y-predict,2).power(2)MSE求导：=∑[−()]²∇/∇=2∑[−()]∗(∇()/∇)∇()/∇这部分取决于网络结构，如y=wx+b的结构形式利用pytorch自动求导GradientAPItorch.autograd.grad(loss,[w1,w2,…])→[w1gr

weixin_46753186·2023-06-12 04:26

Pytorch学习笔记五——net.train与net.eval

net.train()和net.eval()两个函数只要适用于Dropout与BatchNormalization的网络，会影响到训练过程中这两者的参数。net.train()时，训练时每个min-batch时都会根据情况进行上述两个参数的相应调整net.eval()时，由于网络训练完毕后参数都是固定的，因此每个批次的均值和方差都是不变的，因此直接结算所有batch的均值和方差。所有BatchNo

深思海数_willschang·2023-04-18 14:19

Pytorch学习笔记(9) 通过DataSet、DatasetLoader构建模型输入数据集

如何将我们准备好的数据放入模型中呢？Pytorch给出的答案都在torch.utils.data包中。一、先看看所有的类这个模块中方法并不多，所以让我们先全部列出来看看，看看名字猜猜功能。Classtorch.utils.data.Dataset一个抽象类，所有其他类的数据集类都应该是它的子类。所有子类应该重载len和getitem，前者提供了数据集的大小，后者支持整数索引，范围从0到len(se

银色尘埃010·2023-04-13 12:38

Pytorch学习笔记之tensor数据结构

torch.TensorTensor数据类型Tensor的属性view和reshape的区别Tensor与ndarray创建Tensor传入维度的方法参考资料torch.Tensortorch.Tensor是一种包含单一数据类型元素的多维矩阵，类似于numpy的array。可以使用使用torch.tensor()方法将python的list或序列数据转换成Tensor数据，生成的是dtype默认是

CODER8R·2023-04-12 21:55

PyTorch学习笔记：data.RandomSampler——数据随机采样

PyTorch学习笔记：data.RandomSampler——数据随机采样torch.utils.data.RandomSampler(data_source,replacement=False,num_samples

视觉萌新、·2023-04-11 07:11

PyTorch学习笔记：F.normalize——数组归一化运算

PyTorch学习笔记：F.normalize——数组归一化运算torch.nn.functional.normalize(input,p=2.0,dim=1,eps=1e-12,out=None)功能

视觉萌新、·2023-04-11 07:48

Pytorch学习（4）：Tensor统计、where与gather

sum/prod3.argmax/argmin/dim/keepdim4.Topk/kthvalue5.比较/eq/equal一、高级操作where/gather1.条件where2.gather总结前言Pytorch

Leafing_·2023-04-10 15:33

Pytorch学习笔记：Pytorch版本与cuda版本不兼容

当我们辛辛苦苦改完代码，并且想利用GPU进行模型的训练时，可能会出现如下问题：那么是什么原因造成的呢？在我们刚刚接触pytorch的时候可能不会考虑到pytorch版本与cuda版本匹配，所以装成了与我们电脑cuda版本不同的pytorch。那么接下来我们需要如下操作：1.首先我们要先打开终端，查到自己的cuda版本，输入：nvidia-smi可见，我的版本是cuda11.62.打开StartLo

一半烟火_一半诗意·2023-04-09 16:00

pytorch学习笔记：transforms图像增强

数据增强：对训练集进行一系列的处理变换，使训练集更丰富，从而让模型更具泛化能力。transforms----裁剪1.transforms.CenterCrop（size）功能：从图像中心裁剪指定尺寸的图片。当裁剪尺寸大于原始尺寸时，会使用0值填充，效果就是黑色像素填充2.transforms.RandomCrop(size,padding)功能：从原始图片中随机裁剪出尺寸为size的图片。注：此方

小杰.·2023-04-09 05:06

pytorch学习笔记

1.ifself.stu_preact:x=feature_student["preact_feats"]+[feature_student["pooled_feat"].unsqueeze(-1).unsqueeze(-1)]else:x=feature_student["feats"]+[feature_student["pooled_feat"].unsqueeze(-1).unsqueez

：）�东东要拼命·2023-04-08 14:49

PyTorch学习笔记：nn.MSELoss——MSE损失

PyTorch学习笔记：nn.MSELoss——MSE损失torch.nn.MSELoss(size_average=None，reduce=None，reduction='mean')功能：创建一个平方误差

视觉萌新、·2023-04-06 11:14

numpy与tensor数据类型互换

PyTorch学习笔记：numpy与tensor数据类型互换numpy转换为tensortorch.from_numpy(ndarray)→Tensortensor转换为numpyTensor.numpy

视觉萌新、·2023-04-05 14:21

PyTorch学习笔记：nn.Tanh——Tanh激活函数

PyTorch学习笔记：nn.Tanh——Tanh激活函数torch.nn.Tanh()功能：逐元素应用Tanh函数（双曲正切）对数据进行激活，将元素调整到区间(-1,1)内函数方程：Tanh(x)=tanh

视觉萌新、·2023-04-05 11:34

【PyTorch学习笔记】class torch.nn.AdaptiveAvgPool2d(output_size)

敲代码的小风·2023-04-03 15:17

推荐频道

Pytorch学习笔记