Pytorch的数据读取主要包含三个类:
DatasetDataLoaderDataLoaderIter
这三者是一个依次封装的关系: 1.被装进2., 2.被装进3.
Dataset类
Pytorch 读取数据,主要通过Dataset类,Dataset类是所有dataset类的基类,自定义的dataset类要继承它,并且实现它的两个最重要的方法__getitem__()
和__len__()
具体的使用:
from torch.utils.data import Datasetclass MyDataset(Dataset):def __init__(self, path): # 可以写一些文件的读取self.trainUserList = self.load_train_rating_as_list(path + ".train.rating")def __getitem__(self, index): # 根据index返回一条数据user= self.trainUserList[index]return userdef __len__(self): # 样本数据的长度return len(self.trainUserList)
注意:dataset中应尽量只包含只读对象
,避免修改任何可变对象。因为如果使用多进程,可变对象要加锁,但后面讲到的dataloader的设计使其难以加锁。
DataLoader类
Dataset 负责数据集,每次可以用__getitem__()
返回一个样本,而 DataLoader 提供了对数据的批量处理。
Dataloader 的构造函数:
class torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False, sampler=None,batch_sampler=None, num_workers=0, collate_fn=<function default_collate>, pin_memory=False, drop_last=False, timeout=0, worker_init_fn=None)
参数解释:
num_workers
:使用的子进程数,0为不使用多进程。
worker_init_fn
: 默认为None,如果不是None,这个函数将被每个子进程以子进程id([0, num_workers - 1]之间的数)调用
sample
:采样策略,若这个参数有定义,则shuffle必须为False
pin_memory
:是否将tensor数据复制到CUDA pinned memory中,pin memory中的数据转到GPU中会快一些
drop_last
:当dataset中的数据数量不能整除batch size时,是否把最后不够batch size数据丢掉
collate_fn
:把一组samples打包成一个mini-batch的函数。可以自定义这个函数以处理损坏数据的情况(先在__getitem__函数中将这样的数据返回None,然后再在collate_fn中处理,如丢掉损坏数据or再从数据集里随机挑一张),但最好还是确保dataset里所有数据都能用。
具体的使用:
dataset = MyDataset('EPINION2/epinion2') # 初始化自定义类dataloader = DataLoader(dataset, batch_size=256, shuffle=True, num_workers=20) # 使用DataLoader对自定义类进行包装,使其能够批量获取数据for epoch in range(20):for data in dataloader: # data 是获取到的 batch_size 个 user# training...
DataLoaderIter
Dataset、Dataloader 和 DataLoaderIter 是层层封装的关系,最终在内部使用 DataLoaderIter 进行迭代。
如果觉得《Pytorch数据读取(Dataset DataLoader DataLoaderIter)》对你有帮助,请点赞、收藏,并留下你的观点哦!