校园春色亚洲色图_亚洲视频分类_中文字幕精品一区二区精品_麻豆一区区三区四区产品精品蜜桃

主頁 > 知識(shí)庫 > pytorch 實(shí)現(xiàn)多個(gè)Dataloader同時(shí)訓(xùn)練

pytorch 實(shí)現(xiàn)多個(gè)Dataloader同時(shí)訓(xùn)練

熱門標(biāo)簽:儋州電話機(jī)器人 佛山400電話辦理 北京電銷外呼系統(tǒng)加盟 地圖標(biāo)注面積 所得系統(tǒng)電梯怎樣主板設(shè)置外呼 小蘇云呼電話機(jī)器人 市場(chǎng)上的電銷機(jī)器人 朝陽手機(jī)外呼系統(tǒng) 北瀚ai電銷機(jī)器人官網(wǎng)手機(jī)版

看代碼吧~

如果兩個(gè)dataloader的長(zhǎng)度不一樣,那就加個(gè):

from itertools import cycle

僅使用zip,迭代器將在長(zhǎng)度等于最小數(shù)據(jù)集的長(zhǎng)度時(shí)耗盡。 但是,使用cycle時(shí),我們將再次重復(fù)最小的數(shù)據(jù)集,除非迭代器查看最大數(shù)據(jù)集中的所有樣本。

補(bǔ)充:pytorch技巧:自定義數(shù)據(jù)集 torch.utils.data.DataLoader 及Dataset的使用

本博客中有可直接運(yùn)行的例子,便于直觀的理解,在torch環(huán)境中運(yùn)行即可。

1. 數(shù)據(jù)傳遞機(jī)制

在 pytorch 中數(shù)據(jù)傳遞按一下順序:

1、創(chuàng)建 datasets ,也就是所需要讀取的數(shù)據(jù)集。

2、把 datasets 傳入DataLoader。

3、DataLoader迭代產(chǎn)生訓(xùn)練數(shù)據(jù)提供給模型。

2. torch.utils.data.Dataset

Pytorch提供兩種數(shù)據(jù)集:

Map式數(shù)據(jù)集 Iterable式數(shù)據(jù)集。其中Map式數(shù)據(jù)集繼承torch.utils.data.Dataset,Iterable式數(shù)據(jù)集繼承torch.utils.data.IterableDataset。

本文只介紹 Map式數(shù)據(jù)集。

一個(gè)Map式的數(shù)據(jù)集必須要重寫 __getitem__(self, index)、 __len__(self) 兩個(gè)方法,用來表示從索引到樣本的映射(Map)。 __getitem__(self, index)按索引映射到對(duì)應(yīng)的數(shù)據(jù), __len__(self)則會(huì)返回這個(gè)數(shù)據(jù)集的長(zhǎng)度。

基本格式如下:

 import torch.utils.data as data
class VOCDetection(data.Dataset):
    '''
    必須繼承data.Dataset類
    '''
    def __init__(self):
        '''
        在這里進(jìn)行初始化,一般是初始化文件路徑或文件列表
        '''
        pass
    def __getitem__(self, index):
        '''
        1. 按照index,讀取文件中對(duì)應(yīng)的數(shù)據(jù)  (讀取一個(gè)數(shù)據(jù)?。。?!我們常讀取的數(shù)據(jù)是圖片,一般我們送入模型的數(shù)據(jù)成批的,但在這里只是讀取一張圖片,成批后面會(huì)說到)
        2. 對(duì)讀取到的數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng) (數(shù)據(jù)增強(qiáng)是深度學(xué)習(xí)中經(jīng)常用到的,可以提高模型的泛化能力)
        3. 返回?cái)?shù)據(jù)對(duì) (一般我們要返回 圖片,對(duì)應(yīng)的標(biāo)簽) 在這里因?yàn)槲覜]有寫完整的代碼,返回值用 0 代替
        '''
        return 0
    def __len__(self):
        '''
        返回?cái)?shù)據(jù)集的長(zhǎng)度
        '''
        return 0

可直接運(yùn)行的例子:

import torch.utils.data as data
import numpy as np
x = np.array(range(80)).reshape(8, 10) # 模擬輸入, 8個(gè)樣本,每個(gè)樣本長(zhǎng)度為10
y = np.array(range(8))  # 模擬對(duì)應(yīng)樣本的標(biāo)簽, 8個(gè)標(biāo)簽 
class Mydataset(data.Dataset):
    def __init__(self, x, y):
        self.x = x
        self.y = y
        self.idx = list()
        for item in x:
            self.idx.append(item)
        pass
    def __getitem__(self, index):
        input_data = self.idx[index] #可繼續(xù)進(jìn)行數(shù)據(jù)增強(qiáng),這里沒有進(jìn)行數(shù)據(jù)增強(qiáng)操作
        target = self.y[index]
        return input_data, target
    def __len__(self):
        return len(self.idx)
datasets = Mydataset(x, y)  # 初始化
print(datasets.__len__())  # 調(diào)用__len__() 返回?cái)?shù)據(jù)的長(zhǎng)度
for i in range(len(y)):
    input_data, target = datasets.__getitem__(i)  # 調(diào)用__getitem__(index) 返回讀取的數(shù)據(jù)對(duì)
    print('input_data%d =' % i, input_data)
    print('target%d = ' % i, target)

結(jié)果如下:

3. torch.utils.data.DataLoader

PyTorch中數(shù)據(jù)讀取的一個(gè)重要接口是 torch.utils.data.DataLoader。

該接口主要用來將自定義的數(shù)據(jù)讀取接口的輸出或者PyTorch已有的數(shù)據(jù)讀取接口的輸入按照batch_size封裝成Tensor,后續(xù)只需要再包裝成Variable即可作為模型的輸入。

torch.utils.data.DataLoader(onject)的可用參數(shù)如下:

1.dataset(Dataset): 數(shù)據(jù)讀取接口,該輸出是torch.utils.data.Dataset類的對(duì)象(或者繼承自該類的自定義類的對(duì)象)。

2.batch_size (int, optional): 批訓(xùn)練數(shù)據(jù)量的大小,根據(jù)具體情況設(shè)置即可。一般為2的N次方(默認(rèn):1)

3.shuffle (bool, optional):是否打亂數(shù)據(jù),一般在訓(xùn)練數(shù)據(jù)中會(huì)采用。(默認(rèn):False)

4.sampler (Sampler, optional):從數(shù)據(jù)集中提取樣本的策略。如果指定,“shuffle”必須為false。我沒有用過,不太了解。

5.batch_sampler (Sampler, optional):和batch_size、shuffle等參數(shù)互斥,一般用默認(rèn)。

6.num_workers:這個(gè)參數(shù)必須大于等于0,為0時(shí)默認(rèn)使用主線程讀取數(shù)據(jù),其他大于0的數(shù)表示通過多個(gè)進(jìn)程來讀取數(shù)據(jù),可以加快數(shù)據(jù)讀取速度,一般設(shè)置為2的N次方,且小于batch_size(默認(rèn):0)

7.collate_fn (callable, optional): 合并樣本清單以形成小批量。用來處理不同情況下的輸入dataset的封裝。

8.pin_memory (bool, optional):如果設(shè)置為True,那么data loader將會(huì)在返回它們之前,將tensors拷貝到CUDA中的固定內(nèi)存中.

9.drop_last (bool, optional): 如果數(shù)據(jù)集大小不能被批大小整除,則設(shè)置為“true”以除去最后一個(gè)未完成的批。如果“false”那么最后一批將更小。(默認(rèn):false)

10.timeout(numeric, optional):設(shè)置數(shù)據(jù)讀取時(shí)間限制,超過這個(gè)時(shí)間還沒讀取到數(shù)據(jù)的話就會(huì)報(bào)錯(cuò)。(默認(rèn):0)

11.worker_init_fn (callable, optional): 每個(gè)worker初始化函數(shù)(默認(rèn):None)

可直接運(yùn)行的例子:

import torch.utils.data as data
import numpy as np
x = np.array(range(80)).reshape(8, 10) # 模擬輸入, 8個(gè)樣本,每個(gè)樣本長(zhǎng)度為10
y = np.array(range(8))  # 模擬對(duì)應(yīng)樣本的標(biāo)簽, 8個(gè)標(biāo)簽
class Mydataset(data.Dataset):
    def __init__(self, x, y):
        self.x = x
        self.y = y
        self.idx = list()
        for item in x:
            self.idx.append(item)
        pass
    def __getitem__(self, index):
        input_data = self.idx[index]
        target = self.y[index]
        return input_data, target
    def __len__(self):
        return len(self.idx)
if __name__ ==('__main__'):
    datasets = Mydataset(x, y)  # 初始化
    dataloader = data.DataLoader(datasets, batch_size=4, num_workers=2) 
    for i, (input_data, target) in enumerate(dataloader):
        print('input_data%d' % i, input_data)
        print('target%d' % i, target)

結(jié)果如下:(注意看類別,DataLoader把數(shù)據(jù)封裝為Tensor)

以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。

您可能感興趣的文章:
  • pytorch鎖死在dataloader(訓(xùn)練時(shí)卡死)
  • pytorch Dataset,DataLoader產(chǎn)生自定義的訓(xùn)練數(shù)據(jù)案例
  • 解決Pytorch dataloader時(shí)報(bào)錯(cuò)每個(gè)tensor維度不一樣的問題
  • pytorch中DataLoader()過程中遇到的一些問題
  • Pytorch dataloader在加載最后一個(gè)batch時(shí)卡死的解決
  • Pytorch 如何加速Dataloader提升數(shù)據(jù)讀取速度
  • pytorch DataLoader的num_workers參數(shù)與設(shè)置大小詳解

標(biāo)簽:寧夏 云南 金融催收 定西 商丘 龍巖 江蘇 酒泉

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《pytorch 實(shí)現(xiàn)多個(gè)Dataloader同時(shí)訓(xùn)練》,本文關(guān)鍵詞  pytorch,實(shí)現(xiàn),多個(gè),Dataloader,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《pytorch 實(shí)現(xiàn)多個(gè)Dataloader同時(shí)訓(xùn)練》相關(guān)的同類信息!
  • 本頁收集關(guān)于pytorch 實(shí)現(xiàn)多個(gè)Dataloader同時(shí)訓(xùn)練的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    校园春色亚洲色图_亚洲视频分类_中文字幕精品一区二区精品_麻豆一区区三区四区产品精品蜜桃
    久久国内精品视频| 久久 天天综合| 香蕉影视欧美成人| 久久精品72免费观看| 欧美久久一二区| 一区二区免费视频| 欧美综合一区二区三区| 国产精品久久看| 丰满白嫩尤物一区二区| 国产精品女上位| 国产乱码精品一区二区三区忘忧草| 一本大道av伊人久久综合| 国产精品夫妻自拍| 欧美在线视频日韩| 成人黄色在线看| 国产精品网站在线观看| 欧美成人三级在线| 亚洲一区二区三区在线看| 色就色 综合激情| 狠狠网亚洲精品| 成人av免费观看| 激情综合色综合久久| 天堂蜜桃一区二区三区| av电影一区二区| 国产日韩欧美制服另类| 美国欧美日韩国产在线播放| 91在线观看一区二区| 欧美人动与zoxxxx乱| 亚洲国产一二三| 一本大道av一区二区在线播放| 国产精品久久久久久久久免费樱桃| 青娱乐精品在线视频| 在线免费观看不卡av| 国产精品三级电影| 国产白丝精品91爽爽久久| 欧美激情综合在线| 国产一区二区三区| 精品少妇一区二区三区视频免付费| 亚洲同性同志一二三专区| 一本大道久久a久久精二百| 国产精品麻豆久久久| 国产精品99久久久久久似苏梦涵 | 高清av一区二区| 久久综合色婷婷| 国产乱色国产精品免费视频| 日韩精品一区二区三区视频| 青青草成人在线观看| 欧美做爰猛烈大尺度电影无法无天| 亚洲精品日产精品乱码不卡| 盗摄精品av一区二区三区| 久久欧美一区二区| 亚洲第一会所有码转帖| 91精品国产aⅴ一区二区| 无码av中文一区二区三区桃花岛| 日本久久一区二区三区| 亚洲成人一二三| 精品福利二区三区| 国产a精品视频| 成人免费一区二区三区视频| 色综合久久综合网欧美综合网 | 偷偷要91色婷婷| 6080午夜不卡| 国产裸体歌舞团一区二区| 亚洲乱码国产乱码精品精98午夜| 欧美二区三区的天堂| 午夜国产不卡在线观看视频| 欧美一级黄色大片| 成人永久免费视频| 亚洲乱码日产精品bd| 欧美一区二区视频观看视频| 亚洲午夜激情网站| 久久久久久久国产精品影院| 99久久久精品| 天天综合日日夜夜精品| 日韩精品资源二区在线| www.激情成人| 日日摸夜夜添夜夜添亚洲女人| 26uuu精品一区二区在线观看| 高清av一区二区| 午夜日韩在线电影| 国产亚洲一区二区在线观看| 风流少妇一区二区| 日本vs亚洲vs韩国一区三区二区 | 精品视频1区2区| 久久99深爱久久99精品| 国产精品免费免费| 精品国产99国产精品| 国产精品一区2区| 亚洲国产精品欧美一二99| 欧美一区二区福利视频| 99精品视频在线观看免费| 日韩和的一区二区| 中文字幕一区二区视频| 久久伊99综合婷婷久久伊| 欧美在线看片a免费观看| 国产做a爰片久久毛片| 亚洲综合一区二区精品导航| 国产精品色哟哟网站| 国产精品每日更新| 欧美日本在线看| 美女视频免费一区| 亚洲免费大片在线观看| 久久精品夜色噜噜亚洲aⅴ| 欧美三级在线视频| 欧美天堂一区二区三区| 成人h动漫精品| 国产精一区二区三区| 美女精品一区二区| 亚洲国产综合91精品麻豆| 亚洲视频一区二区免费在线观看| 337p粉嫩大胆色噜噜噜噜亚洲| 欧美三级在线播放| 欧美日韩一区二区三区免费看| 成+人+亚洲+综合天堂| 国模冰冰炮一区二区| 亚洲私人影院在线观看| 成年人午夜久久久| 国产不卡视频一区二区三区| 久久福利资源站| 国产精品综合久久| 国产福利不卡视频| 久久99精品久久久久久动态图 | 亚洲国产aⅴ天堂久久| 亚洲黄网站在线观看| 亚洲国产电影在线观看| 国产欧美一区二区精品性色超碰| 日韩女优av电影| 久久日韩粉嫩一区二区三区| 日韩午夜中文字幕| 欧美一区二区三级| 日韩欧美亚洲一区二区| 久久久久久久性| 国产精品久久久久婷婷二区次| 亚洲日本韩国一区| 日韩精品国产欧美| 国产一区二区h| 91视频在线观看免费| 欧美欧美欧美欧美| 国产在线不卡视频| youjizz国产精品| 欧美日精品一区视频| 精品少妇一区二区三区在线视频| 中文字幕电影一区| 亚洲国产毛片aaaaa无费看| 麻豆精品久久精品色综合| 丰满放荡岳乱妇91ww| 欧美这里有精品| 26uuu欧美| 亚洲综合一区二区精品导航| 美国欧美日韩国产在线播放| 国产99精品国产| 欧美女孩性生活视频| 婷婷成人综合网| 一区二区国产盗摄色噜噜| 看电影不卡的网站| 91社区在线播放| 精品国产乱码久久| 亚洲精品久久久久久国产精华液| 日本色综合中文字幕| 97久久超碰国产精品电影| 日韩一区二区三区视频在线观看| 国产欧美日韩在线| 日本不卡一区二区三区| 91丨国产丨九色丨pron| 久久先锋资源网| 免费在线观看日韩欧美| 91成人在线免费观看| 国产日产欧美一区二区三区| 五月天激情综合| 在线视频一区二区三| 国产欧美日韩三区| 久久国内精品视频| 7777精品久久久大香线蕉| 夜夜嗨av一区二区三区中文字幕| 国产成人精品网址| 7777精品伊人久久久大香线蕉 | 精品三级av在线| 亚洲最大成人综合| 成年人网站91| 国产肉丝袜一区二区| 九色综合狠狠综合久久| 69p69国产精品| 亚洲第一成年网| 91电影在线观看| 一区二区三区不卡在线观看 | 欧美三级日本三级少妇99| 国产亚洲欧美一级| 国产精品一区三区| 久久―日本道色综合久久| 免费人成精品欧美精品| 91精品久久久久久久99蜜桃| 亚洲国产日韩一区二区| 欧美亚洲一区三区| 夜夜揉揉日日人人青青一国产精品| 91丨porny丨在线| 一级精品视频在线观看宜春院| 色综合咪咪久久| 亚洲国产精品久久不卡毛片| 欧美日韩免费一区二区三区视频 | 91精品国产综合久久福利软件|