torch.utils.data.DataLoader与迭代器转换的方法
这篇文章主要介绍“torch.utils.data.DataLoader与迭代器转换的方法”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“torch.utils.data.DataLoader与迭代器转换的方法”文章能帮助大家解决问题。
在做实验时,我们常常会使用用开源的数据集进行测试。而Pytorch中内置了许多数据集,这些数据集我们常常使用DataLoader
类进行加载。
如下面这个我们使用DataLoader
类加载torch.vision
中的FashionMNIST
数据集。
fromtorch.utils.dataimportDataLoaderfromtorchvisionimportdatasetsfromtorchvision.transformsimportToTensorimportmatplotlib.pyplotasplttraining_data=datasets.FashionMNIST(root="data",train=True,download=True,transform=ToTensor())test_data=datasets.FashionMNIST(root="data",train=False,download=True,transform=ToTensor())
我们接下来定义Dataloader对象用于加载这两个数据集:
train_dataloader=DataLoader(training_data,batch_size=64,shuffle=True)test_dataloader=DataLoader(test_data,batch_size=64,shuffle=True)
那么这个train_dataloader
究竟是什么类型呢?
print(type(train_dataloader))#<class'torch.utils.data.dataloader.DataLoader'>
我们可以将先其转换为迭代器类型。
print(type(iter(train_dataloader)))#<class'torch.utils.data.dataloader._SingleProcessDataLoaderIter'>
然后再使用next(iter(train_dataloader))
从迭代器里取数据,如下所示:
train_features,train_labels=next(iter(train_dataloader))print(f"Featurebatchshape:{train_features.size()}")print(f"Labelsbatchshape:{train_labels.size()}")img=train_features[0].squeeze()label=train_labels[0]plt.imshow(img,cmap="gray")plt.show()print(f"Label:{label}")
可以看到我们成功获取了数据集中第一张图片的信息,控制台打印:
Featurebatchshape:torch.Size([64,1,28,28])Labelsbatchshape:torch.Size([64])Label:2
图片可视化显示如下:
不过有读者可能就会产生疑问,很多时候我们并没有将DataLoader类型强制转换成迭代器类型呀,大多数时候我们会写如下代码:
fortrain_features,train_labelsintrain_dataloader:print(train_features.shape)#torch.Size([64,1,28,28])print(train_features[0].shape)#torch.Size([1,28,28])print(train_features[0].squeeze().shape)#torch.Size([28,28])img=train_features[0].squeeze()label=train_labels[0]plt.imshow(img,cmap="gray")plt.show()print(f"Label:{label}")
可以看到,该代码也能够正常迭代训练数据,前三个样本的控制台打印输出为:
torch.Size([64,1,28,28])torch.Size([1,28,28])torch.Size([28,28])Label:7torch.Size([64,1,28,28])torch.Size([1,28,28])torch.Size([28,28])Label:4torch.Size([64,1,28,28])torch.Size([1,28,28])torch.Size([28,28])Label:1
那么为什么我们这里没有显式将Dataloader
转换为迭代器类型呢,其实是Python语言for循环的一种机制,一旦我们用for ... in ...句式来迭代一个对象,那么Python
解释器就会偷偷地自动帮我们创建好迭代器,也就是说
fortrain_features,train_labelsintrain_dataloader:
实际上等同于
fortrain_features,train_labelsiniter(train_dataloader):
更进一步,这实际上等同于
train_iterator=iter(train_dataloader)try:whileTrue:train_features,train_labels=next(train_iterator)exceptStopIteration:pass
推而广之,我们在用Python迭代直接迭代列表时:
forxin[1,2,3,4]:
其实Python解释器已经为我们隐式转换为迭代器了:
list_iterator=iter([1,2,3,4])try:whileTrue:x=next(list_iterator)exceptStopIteration:pass
关于“torch.utils.data.DataLoader与迭代器转换的方法”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识,可以关注亿速云行业资讯频道,小编每天都会为大家更新不同的知识点。
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系本站删除。