dataloader

【语义分割专栏】4：deeplab系列实战篇(附上完整可运行的代码pytorch)

文章目录前言Deeplab系列全流程代码模型搭建(model)backbone的搭建Deeplabv1Deeplabv2Deeplabv3Deeplabv3+数据处理(dataloader)评价指标(metric
fouen·2025-07-27 18:47

第十四章:AI的数据“集装箱”：彻底搞懂Tensor的Batch与维度

1：Batch（批次）——GPU的“灵魂伴侣”1.1单个处理vs.批量处理：CPU与GPU的思维差异1.2DataLoader：PyTorch的“自动化装箱员”2：维度的语言——破译[B,L,D]的含义
爱分享的飘哥·2025-07-26 16:28

ValueError: Expected more than 1 value per channel when training, got input size torch.Size([1, 384]

可能是输入的数据有剩余但不足以达到batch_size所导致的查阅资料发现：在torch.utils.data这个包中，DataLoader类下有一参数为:drop_last–settoTruetodropthelastincompletebatch
我是如此相信_·2025-07-25 14:39

使用PyTorch进行猫狗图像分类实战指南

内容涵盖了图像数据的收集、标准化处理，以及如何使用DataLoader类来提高数据加载效率。接着，本文讲解了如何构建和定义网络结构，选用交叉熵损失函数，并利用SGD或Adam优化器进行权重更新。
op3721·2025-07-24 09:48

如果数据已全部加载到内存中，使用多个 `num_workers` 是否仍然能加速数据加载？

简短回答：不一定，取决于以下因素：数据预处理复杂度：如果数据仍需在DataLoader中进行实时处理（如增强、归一化等），多进程(num_workers>0)仍可能加速。
·2025-07-20 04:48

DataLoader

在PyTorch中，DataLoader是torch.utils.data模块中的一个重要类，用于将数据集包装成可迭代对象，在训练和测试模型时提供了高效、便捷的数据加载和批处理功能。
·2025-07-19 19:10

PyTorch数据准备：从基础Dataset到高效DataLoader

一、PyTorch数据加载核心组件在PyTorch中，数据准备主要涉及两个核心类：Dataset和DataLoader。它们共同构成了PyTorch灵活高效的数据管道系统。
慕婉0307·2025-07-19 14:08

PyTorch数据加载与预处理

数据加载与预处理详解1.数据集类(Dataset和DataLoader)1.1Dataset基类PyTorch中的Dataset是一个抽象类，所有自定义的数据集都应该继承这个类，并实现以下两个方法：__
飘若随风·2025-07-19 13:55

Python打卡：Day40

先继续之前的代码importtorchimporttorch.nnasnnimporttorch.optimasoptimfromtorch.utils.dataimportDataLoader,Dataset#DataLoader
·2025-07-08 17:17

深度模型训练，加速数据读取遇到显卡跑不满的问题

实测在pytorch的dataloader中使用prefetch_factor参数的时候，如果数据在机械硬盘上显卡始终是跑不满的，瓶颈在数据预加载速度上，当数据放在固态硬盘的时候就可以跑满。
不是吧这都有重名·2025-07-07 18:30

使用GPU进行机器学习训练时，如果GPU-Util计算核心满载工作但是显存占用较少，应该如何优化？

检查CPU到GPU的数据流：避免频繁的小数据拷贝（如DataLoader的num_workers设置）。
十子木·2025-07-03 01:11

rnn-人名案例实现

importtorch.nnasnnimporttorch.nn.functionalasFimporttorch.optimasoptim导入torch的数据源数据迭代器工具包fromtorch.utils.dataimportDataset,DataLoader
Ai玩家hly·2025-06-30 06:33

day39

先继续之前的代码importtorchimporttorch.nnasnnimporttorch.optimasoptimfromtorch.utils.dataimportDataLoader,Dataset#DataLoader
心落薄荷糖·2025-06-28 21:40

Python打卡：Day38

知识点回顾：Dataset类的__getitem__和__len__方法（本质是python的特殊方法）Dataloader类minist手写数据集的了解@浙大疏锦行
剑桥折刀s·2025-06-28 00:18

DAY 39 图像数据与显存

先继续之前的代码importtorchimporttorch.nnasnnimporttorch.optimasoptimfromtorch.utils.dataimportDataLoader,Dataset#DataLoader
小白菜333666·2025-06-26 02:01

60天python训练营打卡day38

学习目标：60天python训练营打卡学习内容：DAY38Dataset和Dataloader类知识点回顾：1.Dataset类的__getitem__和__len__方法（本质是python的特殊方法
tan90�=·2025-06-25 13:53

Pytorch学习 day06（torchvision中的datasets、dataloader）

torchvision的datasets使用torchvision提供的数据集API，比较方便，如果在pycharm中下载很慢，可以URL链接到迅雷中进行下载（有些URL链接在源码里）用来告诉程序，数据集存储的位置，共有多少样本等代码如下：importtorchvision#导入torchvision库#使用torchvision的datasets模块，模块中包含CIFAR10、CIFAR100、
丿罗小黑·2025-06-24 07:19

Python打卡训练营-Day38-Dataset和Dataloader类

@浙大疏锦行知识点回顾Dataset类的__getitem__和__len__方法（本质是python的特殊方法）Dataloader类minist手写数据集的了解作业了解下cifar数据集，尝试获取其中一张图片
traMpo1ine·2025-06-24 07:18

【Python打卡Day38】Dataset和Dataloader类 @浙大疏锦行

Dataset和Dataloader类在遇到大规模数据集时，显存常常无法一次性存储所有数据，所以需要使用分批训练的方法。
可能是猫猫人·2025-06-24 07:18

Python_day38Dataset和Dataloader类

为此，PyTorch提供了DataLoader类，该类可以自动将数据集切分为多个批次batch，并支持多线程加载数据。此外，还存在Dataset类，该类可以定义数据集的读取方式和预处理方式。
且慢.589·2025-06-24 06:46

DAY 38 Dataset和Dataloader类

知识点回顾：Dataset类的__getitem__和__len__方法（本质是python的特殊方法）Dataloader类minist手写数据集的了解作业：了解下cifar数据集，尝试获取其中一张图片
weixin_51766214·2025-06-23 17:17

PyTorch：让深度学习像搭积木一样简单有趣！

文章目录一、张量：PyTorch世界的万能积木块⚡二、动态计算图：你的神经网络"乐高说明书"三、神经网络模块化：像堆积木一样建模型四、训练三板斧：优化器/损失函数/数据加载1.数据管道（Dataset+DataLoader
pythonpapaxia·2025-06-13 00:56

Python60日基础学习打卡D37

为此，PyTorch提供了DataLoader类，该类可以自动将数据集切分为多个批次batch，并支持多线程加载数据。此外，还存在Dataset类，该类可以定义数据集的读取方式和预处理方式。
哈基米同志·2025-06-12 23:16

GPU显存占用率过低的解决方案

一个可能的原因是dataloader的num_workers=0,只有一个主进程。为避免这种情况可以根据机器设置合适的num_workers，一般设置为8或16。
myccver·2025-06-12 08:24

python打卡day38@浙大疏锦行

知识点回顾：Dataset类的__getitem__和__len__方法（本质是python的特殊方法）Dataloader类minist手写数据集的了解作业：了解下cifar数据集，尝试获取其中一张图片一
风逸hhh·2025-06-08 01:54

5.27 打卡

知识点回顾：Dataset类的__getitem__和__len__方法（本质是python的特殊方法）Dataloader类minist手写数据集的了解作业：了解下cifar数据集，尝试获取其中一张图片
分散406·2025-06-05 04:03

python训练营打卡第38天

Dataset和Dataloader类知识点回顾：1.Dataset类的__getitem__和__len__方法（本质是python的特殊方法）2.Dataloader类3.minist手写数据集的了解
ppdkx·2025-06-05 04:02

python第39天打卡

先继续之前的代码importtorchimporttorch.nnasnnimporttorch.optimasoptimfromtorch.utils.dataimportDataLoader,Dataset#DataLoader
zdy1263574688·2025-06-04 17:05

Python----目标检测（训练YOLOV8网络）

二、制作数据集在data目录的同目录下，新建dataset目录，以存放制作好的YOLO的数据集，执行以下代码，完成数据划分（dataloader.py）importosimportrandomimportshutil
蹦蹦跳跳真可爱589·2025-06-03 19:49

DAY 38 Dataset和Dataloader类

对应5.27作业知识点回顾：Dataset类的__getitem__和__len__方法（本质是python的特殊方法）Dataloader类minist手写数据集的了解作业：了解下cifar数据集，尝试获取其中一张图片
MasterLLL0228·2025-05-31 17:00

Python打卡训练营day38——2025.05.27

尝试获取其中一张图片importtorchimporttorch.nnasnnimporttorch.optimasoptimfromtorch.utils.dataimportDataLoader,Dataset#DataLoader
莱茵菜苗·2025-05-31 12:29

Python打卡训练营day38——2025.05.27

知识点回顾：Dataset类的__getitem__和__len__方法（本质是python的特殊方法）Dataloader类minist手写数据集的了解作业：了解下cifar数据集，尝试获取其中一张图片
莱茵菜苗·2025-05-31 12:29

打卡day40

先继续之前的代码importtorchimporttorch.nnasnnimporttorch.optimasoptimfromtorch.utils.dataimportDataLoader,Dataset#DataLoader
文莉wenliii·2025-05-31 10:43

Python打卡DAY38

知识点回顾：Dataset类的__getitem__和__len__方法（本质是python的特殊方法）Dataloader类minist手写数据集的了解作业：了解下cifar数据集，尝试获取其中一张图片
chicpopoo·2025-05-29 22:47

Python打卡day38！！！

DAY38Dataset和Dataloader类对应5.27作业知识点回顾：Dataset类的__getitem__和__len__方法（本质是python的特殊方法）Dataloader类minist
dragon0907·2025-05-29 22:16

python打卡day38

Dataset和Dataloader类Dataset类的__getitem__和__len__方法（本质是python的特殊方法）Dataloader类minist手写数据集的了解作业：了解下cifar
ZHPEN1·2025-05-29 22:43

5.29打卡

@浙大疏锦行DAY38Dataset和Dataloader类知识点回顾：1.Dataset类的__getitem__和__len__方法（本质是python的特殊方法）2.Dataloader类3.minist
丁值心·2025-05-29 19:31

Python打卡 DAY 38

知识点回顾：Dataset类的__getitem__和__len__方法（本质是python的特殊方法）Dataloader类minist手写数据集的了解作业：了解下cifar数据集，尝试获取其中一张图片
冰轮a·2025-05-28 06:03

第P10周：PyTorch实现车牌识别

PyTorch实现车牌识别本文为365天深度学习训练营中的学习记录博客原作者：K同学啊在之前的案例中，我们多是使用datasets.ImageFolder函数直接导入已经分类好的数据集形成Dataset，然后使用DataLoader
失眠航行器·2025-05-28 01:52

机器学习dataloader中shuffle=True及使用随机种子控制随机性

我们首先来看如下代码：train_loader=DataLoader(train_dataset,batch_size=batch_size,shuffle=True)val_loader=Dataloader
行至568·2025-05-26 04:21

pytorch深度学习框架基本介绍

基础概念3.1张量(Tensor)3.1.1创建张量3.1.2张量的类型转换3.2自动微分(Autograd)4.构建神经网络4.1定义网络结构4.2使用nn.Module5.数据加载与处理5.1使用DataLoader5.2
一九11111·2025-05-26 04:19

pytorch运行卡住，即不报错也不停止

程序运行到加载数据时卡住for_,(support,query)inenumerate(eval_dataset)把dataloader里的num_workers=0也没用，但是把eunmerate去掉有用了
酷暑冷冰·2025-05-23 01:27

深度学习笔记12-mnist手写数字识别(Pytorch)

编写训练函数3.编写测试函数4.正式训练编辑四、结果可视化编辑五、总结1.Pytorch自带数据库：torchvision.dataset2.Pytorch自带数据加载器：torch.utils.data.DataLoader3
m0_67869333·2025-05-17 15:27

从代码学习深度学习 - 目标检测前置知识(二) PyTorch版

多尺度目标检测1.1多尺度锚框1.2绘图工具函数(`utils_for_huitu.py`)1.3可视化多尺度锚框1.4多尺度检测（理论）二、自定义目标检测数据集2.1读取数据2.2创建Dataset类2.3创建DataLoader2.4
飞雪白鹿€·2025-05-05 16:01

PyTorch中Dataset和DataLoader的使用介绍

本文总结一下PyTorch中Dataset和DataLoader的使用流程：首先假设存在一批数据格式如下：[{"answer":"hat","question":"Whatisthemanwearingonhishead
pyx1212·2025-04-25 14:37

PyTorch中Dataset和DataLoader的使用

二、`DataLoader`是什么？
GL_Rain·2025-04-25 14:04

Pytorch中的Dataset和DataLoader

torch.utils.data.DataLoader：负责批量加载数据、打乱数据、并行加载等。1.1为什么需要Dataset和DataLoader？
爱看烟花的码农·2025-04-25 14:03

pytorch dataloader 中collate_fn是什么

collate_fn（collatefunction）是在PyTorch中DataLoader中使用的一个参数，用于自定义数据加载和批处理的方式。
zhaoyqcsdn·2025-04-20 19:31

AdamW 是 Adam 优化算法的改进版本； warmup_steps：学习率热身的步数

`total_steps=len(dataloader)*num_epochs`warmup_steps：学习率热身的步数，学习率会从一个较小的值逐渐增加到初始学习
ZhangJiQun&MXP·2025-04-17 09:04

PyTorch学习DAY2transforms各种操作

人民币二分类数据数据收集-->Img，Label数据划分-->trainvalidtest数据读取-->DataLoader(Sampler-->Index，Dataset-->Img，Label)数据预处理
沙鳄鱼·2025-04-16 13:53
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他