如何将npy数据加载到DataLoader中(应对已将特征保存为npy格式的情况)- 接续PLM后的数据加载

import numpy as np

from torch.utils.data import Dataset,DataLoader

class NumpDatasets(Dataset):
    def __init__(self,file_path):
        self.data = np.load(file_path)

    def __getitem__(self, item):
        return self.data[index]
    def __len__(self):
        return len(self.data)


if __name__ == '__main__':
    dataset = NumpDatasets('../.py')
    dataloader = DataLoader(dataset,batch_size=32,shuffle=True)

    # 遍历数据集
    for batch in dataloader:
        # 在这里仅打印数据的形状,后续可以做处理
        print(batch.shape)

你可能感兴趣的:(多模态虚假新闻检测,笔记,深度学习)