Pytorch学习笔记第6页

Pytorch学习笔记---2：张量

Pytorch引入了一种基本的数据结构：张量。在深度学习中，张量可以将向量和矩阵推广到任意维度。张量的另一个名称是多维数组，张量的维度与用来表示张量中标量值的索引数量一致。与Numpy数组相比，Pytorch张量具有一些“超能力”，如在GPU上执行非常快的操作、在多个设备或及其上进行分布式操作以及跟踪创建它们的计算图。在实现现代深度学习库时，这些都是重要的特性。本文将介绍使用Pytorch张量库来

一件迷途小书童·2022-12-27 10:17

pytorch学习笔记（四）——MNIST数据集实战

pytorch入门之MINIST数据集实战目录神经网络运作流程回顾识别的四个步骤实现代码目录神经网络运作流程上图所示是一个简单的二层神经网络结构，猫和狗的图片作为输入，依次是输入层，隐层，输出层。每张图片作为输入经过模型得到输出判别是猫还是狗，将输入与真实值之间求误差，再对误差求梯度优化参数w和b，使最后得到的误差尽可能小。回顾上一个博客中我们讲到，我们将输入X经过一个线性模型得再通过ReLU激活

南风渐起·2022-12-27 10:25

Pytorch 学习笔记 nn.ModuleList与nn.Sequential

Pytorch学习笔记nn.ModuleList与nn.Sequentialnn.Sequential是Module的子类，在构建若干个网络层之后，由于其内部已经封装好了forward函数，可以直接调用

Shawn Mendes·2022-12-27 08:18

Pytorch学习笔记-08 常见报错信息

Pytorch学习笔记-08常见报错信息报错：ValueError:num_samplesshouldbeapositiveintegervalue,butgotnum_samples=03可能的原因：

Yuetianw·2022-12-26 11:43

Pytorch学习笔记实例1——二分类

二分类使用损失函数：BCEloss输出层激活方式：sigmoid#!/usr/bin/envpython#coding:utf-8#In[1]:importmatplotlib.pyplotaspltimportnumpyasnpimportpandasaspdimporttorch#In[34]:#读数据#In[2]:data=pd.read_csv('./dataset/credit-a.cs

hello everyone！·2022-12-25 09:20

Pytorch实现线性回归——Pytorch学习笔记一

Pytorch实现线性回归本文所记录的内容是观看B站刘二大人的相关pytorch教学视频所做的笔记视频链接：Pytorch深度学习实践一、Python知识点1.类的继承类做继承时，在初始化时需要这样操作：Module是父类，LinearModel类继承自该父类classLinearModel(torch.nn.Module):def__init__(self):super(LinearModel,

Er_Bai·2022-12-25 09:19

Pytorch实现多分类问题——Pytorch学习笔记二

Er_Bai·2022-12-25 09:49

pytorch学习笔记一：pytorch学习的路线图

1.gpu加速，tensor和autograd(向量和自动求导)2.神经网络工具箱gpu加速示例代码：importtorchimporttimeprint(torch.__version__)print(torch.cuda.is_available())a=torch.randn(10000,

爱学习的人工智障·2022-12-24 15:52

【Pytorch】Pytorch学习笔记01

一、准备工作官网：https://pytorch.org中文文档：https://pytorch.apachecn.org/#/docs/1.7/动手学深度学习：http://zh.d2l.ai/安装pytorch安装torchviz安装graphviz软件(安装到系统变量)https://graphviz.org/download/安装torchviz库pipinstalltorchviz二、基

KmBase·2022-12-24 15:50

Pytorch学习笔记(一)

学习资料：Pytorch中文手册：参见PyTorch中文手册Pytorch深度学习实践：参见《PyTorch深度学习实践》完结合集_哔哩哔哩_bilibili知识点1：Pytorch基础—自动求导—backward()中gradient参数说明转载：https://www.cnblogs.com/bytesfly/p/why-need-gradient-arg-in-pytorch-backwar

白首作舟·2022-12-24 15:49

pytorch学习笔记1-创建tensor（张量，多维数组）

创建Tensor（张量，多维数组）整体程序如下importtorch"""1.创建tensor(张量,多维数组)"""'1.1创建⼀个5x3的未初始化的Tensor'x=torch.empty(5,3)print(x)'1.2创建⼀个5x3的随机初始化的Tensor范围(0,1)'x=torch.rand(5,3)print(x)'1.3创建⼀个5x3的long型全0的Tensor'x=torch

奥利奥好吃呀·2022-12-24 15:18

Pytorch学习笔记(八)----经典卷积神经网络alexnet学习与CIFAR10数据集初探

序言从本节起，将正式走入深度神经网络的大门。关于什么是alexnet、什么是cifar10自行百度。在学习卷积神经网络前，得明白什么是卷积、什么是池化。详细的解释见基础理论中提供的pdf文档。本节主要是使用cifar10数据集对alexnet进行训练，提高对测试集的检测成功率。基础理论https://pan.baidu.com/s/1yv5VIYLjoOPFEwuw1Abw2g详细代码import

oneday_某天·2022-12-24 14:57

PyTorch学习笔记-6.PyTorch的正则化

6.PyTorch的正则化6.1.正则项为了减小过拟合，通常可以添加正则项，常见的正则项有L1正则项和L2正则项L1正则化目标函数：L2正则化目标函数：PyTorch中添加L2正则：PyTorch的优化器中自带一个参数weight_decay，用于指定权值衰减率，相当于L2正则化中的λ参数。权值未衰减的更新公式：权值衰减的更新公式：下面，分别通过不添加L2正则与添加L2正则进行比较：代码实现：#-

ruoqi23·2022-12-24 14:25

PyTorch学习笔记（28） BN LN IN GN

WhyNormalizationInternalCovariateShift(ICS):数据尺度/分布异常，导致训练困难H11=∑i=0nXi∗W1iD(H11)=∑i=0nD(Xi)∗D(W1i)=n∗(1∗1)=n\begin{aligned}\mathrm{H}_{11}=&\sum_{i=0}^{n}X_{i}*W_{1i}\\\mathrm{D}\left(\mathrm{H}_{11}

TongYixuan_LUT·2022-12-24 14:53

PyTorch学习笔记-2.PyTorch数据处理

2.PyTorch数据处理2.1.数据读取机器学习模型训练步骤分为：数据，模型，损失函数，优化器，迭代训练首先是数据，又可以分为：数据收集，数据划分，数据读取，数据预处理DataLoader就是用来进行数据读取的。torch.utils.data.DataLoader功能：构建可迭代的数据装载器•dataset:Dataset类，决定数据从哪读取及如何读取•batchsize:批大小•num_wo

ruoqi23·2022-12-23 14:35

pytorch学习笔记之GRU

一般RNN的输入为XXX和历史状态ht−1h_{t-1}ht−1，输出为当前状态hth_tht和输出YYY。在GRU中，首先计算得到两个门控信号，分别用于控制重置和更新，用sigmoid函数将输入映射到0-1之间，作为该信息的重要性分数，之后通过哈达玛乘积的方式对数据进行重要性控制。越重要的数据权重越大，留下的就越多。reset_gate:r=σ(Wr(Xt∣∣Ht−1))update_gate:

小卜妞~·2022-12-23 08:27

[pytorch学习笔记] 7. 优化模型参数，模型保存和加载

目录优化模型参数超参数优化循环损失函数优化器模型保存和加载保存和加载模型权重使用形状保存和加载模型优化模型参数现在我们有了模型和数据，是时候通过优化我们的数据上的参数来训练、验证和测试我们的模型了。训练模型是一个迭代过程；在每次迭代（称为epoch）中，模型对输出进行猜测，计算猜测中的误差（损失），收集误差相对于其参数的导数，并优化这些参数使用梯度下降。Weloadthecodefromthepr

是安澜啊·2022-12-22 10:48

Pytorch学习笔记(2)——to(device)无法将数据放到GPU上

目录1问题来源2解决方案1问题来源我删除了无关代码，只放出错的部分device=torch.device('cuda'iftorch.cuda.is_available()else'cpu')train_iter=Data.DataLoader(train_dataset,batch_size=batch_size,shuffle=True,drop_last=True)model=RNNSa(3

野指针小李·2022-12-22 08:27

【Pytorch学习笔记】11.取Dataset的子集、给Dataset打乱顺序的方法（使用Subset、random_split）

（pytorch版本：1.2）文章目录Dataset取子集、拆分打乱Dataset内数据的顺序随机拆分Dataset我们在使用Dataset定义好数据集后，在处理数据集时经常会碰到这些问题：如何把Dataset拆分成两个子集（如用于指定训练集和测试集、k折交叉验证等）？如何进行随机拆分？如何打乱一个Dataset内数据的顺序？Dataset取子集、拆分使用torch.utils.data.Subs

takedachia·2022-12-21 12:32

pytorch学习笔记-----自然语言处理词向量

问题：文本数据不能直接输入神经网络,用词频统计没有位置顺序信息词向量模型-Word2Vec1.词向量可以记录位置信息2.词向量可以将同义此归为同一个向量例如:红，red3.同类应该在相近的位置例如:篮球，排球维数一般为特征：比如说：一根笔的长度，宽度，颜色等这些都为一个维度我们可以通过算距离来计算相似度个人理解：整个流程就是把词生成词向量，词向量表是随机初始化的，训练的过程就是要更新他的词向量，使

cvks·2022-12-20 21:15

Pytorch学习笔记（一）——自动求导和叶子节点

一、什么是叶子节点PyTorch中的张量tensor有一个属性是is_leaf，当is_leaf为True时，改tensor是叶子张量，也叫叶子节点。二、叶子节点的作用PyTorch有自动求导的功能，当requires_grad=True时，PyTorch会自动记录运算过程，缓存运算中的中间参数，为自动求导做准备。但是只有is_leaf=True和requires_grad=True同时满足时，才

Candyerer·2022-12-20 12:00

Pytorch特征提取

pytorchfinetuning自己的图片进行行训练：https://blog.csdn.net/xiexu911/article/details/81227126Pytorch学习笔记（I）——预训练模型

zhangyuexiang123·2022-12-19 18:45

PyTorch学习笔记（八）-------------- 多模态融合

目录一、什么是多模态二、为什么选用多模态三、如何实现多模态3.1、平衡融合3.2、加权融合3.3、堆叠融合3.4、注意力机制3.5、双向循环神经网络（Bi-LSTM）一、什么是多模态多模态指的是由不同信息源提供的多种信息表示方式。这些信息表示方式可以是文本、图像、声音、视频等。多模态信息的处理是许多人工智能应用的关键。例如，在视频分类任务中，我们可能希望利用视频的音频和视频轨道信息来判断视频的内容

清忖灬·2022-12-19 12:37

PyTorch学习笔记

文章目录神经翻译笔记5扩展d.PyTorch学习笔记PyTorch与张量自动微分简介示例进一步的数学解释示例2.

TimsonShi·2022-12-19 00:39

PyTorch学习笔记(3)

PyTorch学习笔记(3)文章目录PyTorch学习笔记(3)0本文来历1PyTorch作为框架，向使用者提供了什么？

CarnivoreRabbit·2022-12-19 00:29

pytorch学习笔记十四：TensorBoard

一、TensorBoard的简介与安装TensorBoard是Tensorflow中强大的可视化工具，支持标量、图像、文本、音频和Embedding等多种数据可视化。可以在模型的训练过程中绘制loss曲线，监控模型的训练效果，也可以对模型的参数分布，数据分布，图像、音频等各种数据的可视化。下面是TensorBoard的一个界面：TensorBoard是如何显示这个界面的呢？下面来看一下Tensor

Dear_林·2022-12-18 13:09

【Pytorch学习笔记一】Pytorch深度学习开发环境搭建（Anaconda安装+Cuda安装+pycharm）

文章目录0.pytorch简介1.Anaconda安装及基本配置1.1Anaconda安装1.2配置环境变量1.3添加清华源国内镜像2.Cuda安装3.环境配置3.1打开pycharm->打开终端3.2配置pycharm运行环境3.3安装pytorch0.pytorch简介PyTorch是一个基于Torch的Python开源机器学习库，用于自然语言处理等应用程序，目前是主流的深度学习框架，它主要由

QHCV·2022-12-18 02:48

pytorch学习笔记（一）——基本操作，自动求导机制

四：pytorch基本操作1.检查pytorch是否安装成功print(torch.__version__)2.基本操作#基本使用方法x=torch.empty(5,3)#创建一个矩阵，很小的数，类似0print(x)#使用pytorch框架，必须将所有数据类型都转化成tensor格式，它是最小的一个计算单元x=torch.rand(5,3)#创建一个随机矩阵print(x)#初始化一个全零矩阵x

九磅十五便士°·2022-12-17 08:18

pytorch学习笔记2-张量的操作

张量的操作1.张量的拼接与切分（1）张量拼接1.torch.cat（）：将张按维度dim尽心拼接参数:tensors：张量序列，dim拼接维度t=torch.ones(2,3)t_0=torch.cat([t,t],dim=0)t_1=torch.cat([t,t],dim=1)print("t_0:{}shape:{}\nt_1:{}shape:{}".format(t_0,t_0.shape,

berry丶·2022-12-16 11:34

PyTorch学习笔记之torchvision

目录前言torchvision各个模块介绍torchvision.transforms前言PyTorch是一个开源的机器学习框架，torchvision是一个库，是PyTorch项目的一部分。torchvision包主要由应用于计算机视觉的datasets，io，modelarchitectures，ops，imagetransformations，utils几个部分组成。1）返回用于加载图片的包

Guan19·2022-12-16 01:25

烦人的CUDA error：-UserWarning: CUDA initialization: CUDA unknown error

参考：pytorch学习笔记-UserWarning:CUDAinitialization:CUDAunknownerror-简书跑yolov5时，安装好pytorch之后，运行脚本importtorcha

3DYour·2022-12-15 18:45

pytorch如何定义损失函数_PyTorch学习笔记——二分类交叉熵损失函数

二分类任务交叉熵损失函数定义多分类任务的交叉熵损失函数定义为：其中是向量，表示样本预测为第c类的概率。如果是二分类任务的话，因为只有正例和负例，且两者的概率和是1，所以不需要预测一个向量，只需要预测一个概率就好了，损失函数定义简化如下：其中是模型预测样本是正例的概率，是样本标签，如果样本属于正例，取值为1，否则取值为0。PyTorch中二分类交叉熵损失函数的实现PyTorch提供了两个类来计算二分

weixin_39640085·2022-12-15 15:42

Pytorch学习笔记 --基本使用方法

torch的基本使用方法一、创建矩阵\张量1、创建一个m*n*c的空矩阵：x=torch.empty(m,n,c)2、创建一个m*n*c的随机数值矩阵：x=torch.rand(m,n,c)3、创建一个m*n*c的0矩阵：y=torch.zeros(m,n,c)创建矩阵时，可以使用dtype参数来指定矩阵内存储的数据类型：y=torch.zeros(5,5,5,dtype=torch.long)4

NewSuNess·2022-12-15 15:30

Pytorch学习笔记-06 Normalization layers

Pytorch学习笔记-06Normalizationlayers文章目录Pytorch学习笔记-06NormalizationlayersWhyNormalizationBatchNormalizationLayerNormalizationInstanceNormalizationGroupNormalization

Yuetianw·2022-12-15 15:00

pytorch学习笔记-数据集的使用

主要内容：如何把数据集和transform结合在一起，以及一些标准数据集如何下载、查看使用等1.pytorch官网的datasets，只要写代码的时候指定数据集、设定参数，就能自己下载。例如COCO数据集用于目标检测、语义分割。以下以CIFAR10为例：importtorchvisiontrain_set=torchvision.datasets.CIFAR10(root='./datasets'

A徒手摘星星·2022-12-15 15:59

pytorch学习笔记-激活函数层

注意事项：激活函数也是来自nn模块下importtorchvisionfromtensorboardXimportSummaryWriterfromtorchimportnnfromtorch.nnimportReLUfromtorch.utils.dataimportDataLoaderfromtorchvisionimporttransforms#input=torch.tensor([[1,

完◎笑·2022-12-15 15:57

Pytorch学习笔记---3：张量存储视图

了解张量的底层实现对张量的学习有很大的帮助。张量中的值被分配到由torch.Storage实例所管理的连续内存块中。存储区是由数字数据组成的一维数组，即包括给定类型的数字的连续内存块，例如float(代表32位浮点数)或int64(代表64位整数)。一个Pytorch的Tensor实例就是这样一个Storage实例的视图，该实例能够使用偏移量和每个维度的步长对该存储区进行索引。注意：多个张量可以索

一件迷途小书童·2022-12-15 15:55

Pytorch学习笔记---5：将张量存储到GPU

在一般时候，当我们谈及存储时，我们指的是CPU上面的RMA。Pytorch张量也可以存储在另一种处理器上：GPU。每个Pytorch张量都可以存储到GPU上，以快速进行大规模并行计算。接下来，所有在张量上执行的操作将使用Pytorch附带的特定于GPU的例程来执行。Pytorch支持各种GPU：到2019年年中，Pytorch的主要版本只在支持CUDA的GPU上提供加速功能。Pytorch可以运行

一件迷途小书童·2022-12-15 15:25

pytorch学习笔记-1

文章目录pytorch-张量数据类型创建一个Tensor1.importfromnumpy2.importfromlist3.生成未初始化数据4.生成随机数据rand/rand_like,randintrandn,normal-正态分布5.特殊数据fullarange-等差数列linspace/logspace-等差数列ones/zeros/eye-全1、全0、对角矩阵randperm-随机打散p

kittyyyyyyy·2022-12-15 15:24

Pytorch学习笔记-01

Pytorch学习笔记-01本篇文章所提及的所有代码皆开源，可以在个人的Gitee账号下存储库内找到相关的Gitee链接此仓库下有几个分支，关于AI的存储在Py分支下–>Gitee目录Pytorch学习笔记

是镕不是荣·2022-12-15 15:22

pytorch学习笔记-2

文章目录pytorch-张量的索引与切片直接索引-indexing高级索引-连续选取-selectfirst/lastN高级索引-间隔选取-selectbysteps高级索引-选取具体索引号-selectbyspecificindex高级索引-掩码选取-selectbymaskpytorch-张量的索引与切片直接索引-indexing>>>a=torch.rand(4,3,28,28)#a为一组图

kittyyyyyyy·2022-12-15 15:19

pytorch学习笔记一：张量的操作与线性回归

目录一、张量的简介1、张量的基本概念2、张量的属性二、张量的创建1、直接创建2、依数值创建3、依概率创建三、张量的操作1、张量的拼接2、张量的切分3、张量的索引4、张量变换5、算术运算6、高级操作四、线性回归模型一、张量的简介1、张量的基本概念张量是一个【多维数组】，它是一个标量、向量、矩阵的高维拓展。2、张量的属性在PyTorch0.4.0之前，torch.autograd包中存在Variabl

Dear_林·2022-12-15 02:28

pytorch如何定义损失函数_PyTorch学习笔记——多分类交叉熵损失函数

理解交叉熵关于样本集的两个概率分布p和q，设p为真实的分布，比如[1,0,0]表示当前样本属于第一类，q为拟合的分布，比如[0.7,0.2,0.1]。按照真实分布p来衡量识别一个样本所需的编码长度的期望，即平均编码长度（信息熵）：如果使用拟合分布q来表示来自真实分布p的编码长度的期望，即平均编码长度（交叉熵）：直观上，用p来描述样本是最完美的，用q描述样本就不那么完美，根据吉布斯不等式，恒成立，当

weixin_39851918·2022-12-14 08:06

pytorch学习笔记（五）——torchvision.datasets数据集的使用

1.torchvisiontorchvision是pytorch工程的一部分，主要用于视觉方面的一个包，包括流行的数据集、模型架构和用于计算机视觉的常见图像转换torchvision.transformstorchvision官网页面（从pytorch官网docs点开）2.torchvision.datasets常见的数据集3.数据集的使用——以CIFAR10为例importtorchvision

M762B·2022-12-12 19:05

PyTorch学习笔记（一）深度学习框架简介、开发环境准备

PyTorch学习笔记（一）深度学习框架简介、开发环境准备PyTorch同类框架PyTorch生态PyTorch可以做什么？

Laura_Wangzx·2022-12-12 16:49

PyTorch学习笔记：EOFError：Ran out of input

报错分析：这个错误其实是pytorch函数torch.utils.data.DataLoader在windows下的特有错误，该函数里面有个参数num_workers表示进程个数，在windows下改为0就可以了解决方法：train_loader=Data.DataLoader(dataset=data_x,#使用的数据集※batch_size=64,#批处理样本大小shuffle=True,#每

code_carrot·2022-12-12 13:01

pytorch学习笔记：模型的构建

模型构建基础知识构建神经网络的典型流程*定义一个拥有可学习参数的神经网络*遍历训练数据集*通过网络处理数据*计算损失值（loss）*将网络参数的梯度进行反向传播（loss.backward）*更新网络的权重1、神经网络的构造1.1Model类的介绍（定义一个简单的神经网络）Module类是nn模块里提供的一个模型构造类，是所有神经⽹网络模块的基类，我们可以继承它来定义我们想要的模型。该类是一个可供

阿瓦达啃大瓜~·2022-12-11 21:23

pytorch学习笔记——模型的保存与加载以及获取模型参数

目录一、保存和加载二、模型参数print(model)print(model.state_dict())print(type(model))print(model.named_parameters())中的name总结：一、module.state_dict()二、module.named_parameters()三、model.parameters()PyTorch模型保存深入理解一、保存和加载

phily123·2022-12-11 20:20

Pytorch学习笔记(九):Pytorch模型的FLOPs、模型参数量等信息输出(torchstat、thop、ptflops、torchsummary)

ZZY_dl·2022-12-11 18:41

PyTorch学习笔记之torch.nn

这里主要概括性地讲解一下torch.nn中的几个函数的含义。nn.Flatten()-顾名思义，就是将张量的几个维度变成一维的，有点类似于matlab中的reshape函数。该函数一般后跟一个nn.Linear()即全连接层。nn.Linear()-用于构造一个全连接层，第三个参数bias默认为True，表示会学习一个附加的偏置。nn.Conv2d()-表示2维卷积，参数依次为输入通道，输出通道，

qiuchangyong·2022-12-11 08:00

推荐频道

Pytorch学习笔记