深度学习笔记——pytorch构造数据集 Dataset and Dataloader

系列文章目录

机器学习笔记——梯度下降、反向传播
机器学习笔记——用pytorch实现线性回归
机器学习笔记——pytorch实现逻辑斯蒂回归Logistic regression
机器学习笔记——多层线性（回归）模型 Multilevel (Linear Regression) Model
深度学习笔记——pytorch构造数据集 Dataset and Dataloader
深度学习笔记——pytorch解决多分类问题 Multi-Class Classification
深度学习笔记——pytorch实现卷积神经网络CNN
深度学习笔记——卷积神经网络CNN进阶
深度学习笔记——循环神经网络 RNN
深度学习笔记——pytorch实现GRU

---

---

前言

参考视频——B站刘二大人《pytorch深度学习实践》

---

一、构造数据集Dataset和Dataloardr

Dataloader可以Dataset中的数据随机打乱，并打包成若干份，每份的样本数量是batch_size。

from torch.utils.data import Dataset
from torch.utils.data import DataLoader

Dataset在torch.utils.data包下，Dataset是一个抽象类，必须创建一个类去继承Dataset。
应该重写的三个方法——init、getitem、len。
init，初始化方法要实现数据从文件读取。
getitem，要实现通过下标获取数据
len，要实现获取数据的长度

Dataloader的一些重要的参数：

1. epoch：所有的训练样本输入到模型中称为一个epoch；
2. iteration：一批样本输入到模型中，成为一个Iteration;
3. batchszie：批大小，决定一个epoch有多少个Iteration；
4. 迭代次数（iteration）=样本总数（epoch）/批尺寸（batchszie）
5. dataset (Dataset) – 决定数据从哪读取或者从何读取；
6. batch_size (python:int, optional) – 批尺寸(每次训练样本个数,默认为１）
7. shuffle (bool, optional) –每一个 epoch是否为乱序 (default: False)；
8. num_workers (python:int, optional) – 是否多进程读取数据（默认为０);
9. drop_last (bool, optional) – 当样本数不能被batchsize整除时，最后一批数据是否舍弃（default: False)
10. pin_memory（bool, optional) - 如果为True会将数据放置到GPU上去（默认为false）

二、代码及运行结果

代码如下（示例）：

#!/user/bin/env python3
# -*- coding: utf-8 -*-
import torch
from torch.utils.data import Dataset
from torch.utils.data import DataLoader
import numpy as np
import matplotlib.pyplot as plt


# 数据集
class DiabetesDataset(Dataset):
    def __init__(self, filepath):
        xy = np.loadtxt(filepath, delimiter=',', dtype=np.float32)
        self.len = xy.shape[0]
        self.x_data = torch.from_numpy(xy[:, :-1])
        self.y_data = torch.from_numpy(xy[:, [-1]])

    def __getitem__(self, item):
        return self.x_data[item], self.y_data[item]

    def __len__(self):
        return self.len


# 模型
class MultilevelLinearModel(torch.nn.Module):
    def __init__(self):
        super(MultilevelLinearModel, self).__init__()
        # 隐层
        self.linear1 = torch.nn.Linear(8, 6)
        self.linear2 = torch.nn.Linear(6, 4)
        self.linear3 = torch.nn.Linear(4, 1)
        # 激活函数
        self.activate = torch.nn.Sigmoid()

    def forward(self, x):
        x = self.activate(self.linear1(x))
        x = self.activate(self.linear2(x))
        x = self.activate(self.linear3(x))
        return x


# 实例化模型
model = MultilevelLinearModel()
# 实例化数据集对象
dataset = DiabetesDataset(r'dataset/diabetes.csv.gz')
# 将数据mini-batch
train_loader = DataLoader(dataset=dataset, batch_size=32, shuffle=True, num_workers=0)
# 损失函数
criterion = torch.nn.BCELoss()
# 优化器
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)

# 绘图参数
epoch_list = []
loss_list = []
loss_sum = 0

if __name__ == '__main__':
    for epoch in range(100):
        for i, data in enumerate(train_loader, 0):
            # prepare data
            inputs, label = data
            # forward
            y_pred = model(inputs)
            loss = criterion(y_pred, label)
            print('epoch:', epoch, 'batch_num:', i, 'loss=', loss.item())
            # backward
            optimizer.zero_grad()
            loss.backward()
            # update
            optimizer.step()
            # 绘图数据
            loss_sum += loss.item()
        # 绘图数据
        epoch_list.append(epoch)
        loss_list.append(loss_sum / 24)
        loss_sum = 0
    # 绘图
    plt.plot(epoch_list, loss_list)
    plt.xlabel('epoch')
    plt.ylabel('loss')
    plt.show()

结果：