pytorch使用-data process

https://pytorch.org/tutorials/beginner/data_loading_tutorial.html
https://www.jianshu.com/p/55d75e03c28e
https://pytorch.org/docs/stable/data.html#
https://pytorch.org/docs/stable/_modules/torch/utils/data/dataset.html#Dataset
https://pytorch.org/docs/stable/_modules/torch/utils/data/dataloader.html#DataLoader

pytorch数据读取__getitem__的顺序问题

def __getitem__(self,idx):
	pass

idx的范围是从0到len-1(__len__的返回值)

但是如果采用了dataloader进行迭代,num_workers大于一的话,因为是多线程,所以运行速度不一样,这个时候如果在__getitem__函,数里输出idx的话,就是乱序的。但是实际上当线程数设置为1还是顺序的。

即使线程数大于1,如果返回idx,并且在dataloader迭代后的过程中输出结果的话,还是顺序的,也就是说,多线程可能速度不一样,但是最终的结果要保证和单线程的一致

你可能感兴趣的:(pytorch)