校园春色亚洲色图_亚洲视频分类_中文字幕精品一区二区精品_麻豆一区区三区四区产品精品蜜桃

主頁 > 知識庫 > python保存大型 .mat 數(shù)據(jù)文件報(bào)錯(cuò)超出 IO 限制的操作

python保存大型 .mat 數(shù)據(jù)文件報(bào)錯(cuò)超出 IO 限制的操作

熱門標(biāo)簽:陜西金融外呼系統(tǒng) 激戰(zhàn)2地圖標(biāo)注 唐山智能外呼系統(tǒng)一般多少錢 白銀外呼系統(tǒng) 海南400電話如何申請 公司電話機(jī)器人 哈爾濱ai外呼系統(tǒng)定制 廣告地圖標(biāo)注app 騰訊外呼線路

python 保存 .mat 文件的大小是有限制的,似乎是 5G 以內(nèi),如果需要保存幾十個(gè) G 的數(shù)據(jù)的話,可以選用其他方式,

比如 h5 文件

import h5py
def h5_data_write(train_data, train_label, test_data, test_label, shuffled_flag):
    print("h5py文件正在寫入磁盤...")
    
    save_path = "../save_test/" + "train_test_split_data_label_" + shuffled_flag + ".h5"
    with h5py.File(save_path, 'w') as f:
        f.create_dataset('train_data', data=train_data)
        f.create_dataset('train_label', data=train_label)
        f.create_dataset('test_data', data=test_data)
        f.create_dataset('test_label', data=test_label)
    print("h5py文件保存成功!")
def h5_data_read(filename):
    """
        keys() : 獲取本文件夾下所有的文件及文件夾的名字
        f['key_name'] : 獲取對應(yīng)的對象
    """
    file = h5py.File(filename,'r')
    train_data = file['train_data'][:]
    train_label = file['train_label'][:]
    test_data = file['test_data'][:]
    test_label = file['test_label'][:]
    return train_data, train_label, test_data, test_label

補(bǔ)充:通過python 讀MATLAB數(shù)據(jù)文件 *.mat

背景

在做deeplearning過程中,使用caffe的框架,一般使用matlab來處理圖片(matlab處理圖片相對簡單,高效),用python來生成需要的lmdb文件以及做test產(chǎn)生結(jié)果。

所以某些matlab從圖片處理得到的label信息都會以.mat文件供python讀取,同時(shí)也python產(chǎn)生的結(jié)果信息也需要matlab來做進(jìn)一步的處理(當(dāng)然也可以使用txt,不嫌麻煩自己處理結(jié)構(gòu)信息)。

介紹

matlab和python間的數(shù)據(jù)傳輸一般是基于matlab的文件格式.mat,python中numpy和scipy提供了一些函數(shù),可以很好的對.mat文件的數(shù)據(jù)進(jìn)行讀寫和處理。

在這里numpy作用是提供Array功能映射matlab里面的Matrix,而scipy提供了兩個(gè)函數(shù)loadmat和savemat來讀寫.mat文件。

下面是一個(gè)簡單的測試程序

具體的函數(shù)用法可以看幫助文檔:

import scipy.io as sio 
import matplotlib.pyplot as plt 
import numpy as np 
 
#matlab文件名 
matfn=u'E:/python/測試程序/162250671_162251656_1244.mat' 
data=sio.loadmat(matfn) 
 
plt.close('all') 
xi=data['xi'] 
yi=data['yi'] 
ui=data['ui'] 
vi=data['vi'] 
plt.figure(1) 
plt.quiver( xi[::5,::5],yi[::5,::5],ui[::5,::5],vi[::5,::5]) 
plt.figure(2) 
plt.contourf(xi,yi,ui) 
plt.show()  
sio.savemat('saveddata.mat', {'xi': xi,'yi': yi,'ui': ui,'vi': vi}) 

示例2

import scipy.io as sio
import numpy as np
 
###下面是講解python怎么讀取.mat文件以及怎么處理得到的結(jié)果###
load_fn = 'xxx.mat'
load_data = sio.loadmat(load_fn)
load_matrix = load_data['matrix'] #假設(shè)文件中存有字符變量是matrix,例如matlab中save(load_fn, 'matrix');當(dāng)然可以保存多個(gè)save(load_fn, 'matrix_x', 'matrix_y', ...);
load_matrix_row = load_matrix[0] #取了當(dāng)時(shí)matlab中matrix的第一行,python中數(shù)組行排列
 
###下面是講解python怎么保存.mat文件供matlab程序使用###
save_fn = 'xxx.mat'
save_array = np.array([1,2,3,4])
sio.savemat(save_fn, {'array': save_array}) #和上面的一樣,存在了array變量的第一行
 
save_array_x = np.array([1,2,3,4])
save_array_y = np.array([5,6,7,8])
sio.savemat(save_fn, {'array_x': save_array_x, 'array_x': save_array_x}) #同理,

鑒于以后的目標(biāo)主要是利用現(xiàn)有的Matlab數(shù)據(jù)(.mat或者.txt),主要考慮python導(dǎo)入Matlab數(shù)據(jù)的問題。以下代碼可以解決python讀取.mat文件的問題。

主要使用sicpy.io即可。

sicpy.io提供了兩個(gè)函數(shù)loadmat和savemat,非常方便。

# adapted from http://blog.csdn.net/rumswell/article/details/8545087
import scipy.io as sio  
#import matplotlib.pyplot as plt
from pylab import *
import numpy as np   
 
matfn='E:\\Pythonrun\\myuse\\matdata.mat'   # the path of .mat data
data=sio.loadmat(matfn)  
xx=data['matdata']
figure(1)
plot(xx)
show()

以下代碼是讀入txt數(shù)據(jù)并轉(zhuǎn)換成數(shù)組,方法比較笨,更有效的方法待研究。

from numpy import * 
def file2list(filename):  

    fr = open(filename)  
    array = fr.readlines() #以文件中的每行為一個(gè)元素,形成一個(gè)list列表  
    num = len(array)  
    returnMat = zeros((num,3))#初始化元素為0的,行號數(shù)個(gè)列表,其中每個(gè)元素仍是列表,元素?cái)?shù)是3,在此表示矩陣  
    index = 0   
 
    for line in array:  
        line = line.strip()#去掉一行后的回車符號  
        linelist = line.split(' ')#將一行根據(jù)分割符,劃分成多個(gè)元素的列表  
        returnMat[index,:] = linelist[0:3]#向矩陣賦值,注意這種賦值方式比較笨拙  
        index +=1  
    return returnMat
 
fname = 'E:\\Pythonrun\\myuse\\num_data.txt'
data= file2list(fname)

補(bǔ)充:Python 讀寫 Matlab Mat 格式數(shù)據(jù)

1. 非 matlab v7.3 files 讀寫

import scipy.io as sio
import numpy
# matFile 讀取
matFile = 'matlabdata.mat'
datas = sio.loadmat(matFile)
# 加載 matFile 內(nèi)的數(shù)據(jù)
# 假設(shè) mat 內(nèi)保存的變量為 matlabdata
matlabdata = datas['matlabdata']
# matFile 寫入
save_matFile = 'save_matlabdata.mat'
save_matlabdata = np.array([1,2,3,4,5])
sio.savemat(save_matFile, {'array':save_matlabdata})

2. matlab v7.3 files 讀取

如果 matlab 保存 data 時(shí),采用的是 ‘-v7.3',scipy.io.loadmat函數(shù)加載數(shù)據(jù)會出現(xiàn)錯(cuò)誤:

File "/usr/local/lib/python2.7/dist-packages/scipy/io/matlab/mio.py", line 64, in mat_reader_factory
    raise NotImplementedError('Please use HDF reader for matlab v7.3 files')
NotImplementedError: Please use HDF reader for matlab v7.3 files

可以采用:

import h5py
with h5py.File('matlabdata.mat', 'r') as f:
    f.keys() # matlabdata.mat 中的變量名
datas = h5py.File('matlabdata.mat')['matlabdata'].value

以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教。

您可能感興趣的文章:
  • python利用Excel讀取和存儲測試數(shù)據(jù)完成接口自動(dòng)化教程
  • python pickle存儲、讀取大數(shù)據(jù)量列表、字典數(shù)據(jù)的方法
  • Python數(shù)據(jù)分析入門之教你怎么搭建環(huán)境
  • Python入門之使用pandas分析excel數(shù)據(jù)
  • python 存儲json數(shù)據(jù)的操作
  • 詳解python數(shù)據(jù)結(jié)構(gòu)之棧stack
  • 詳解python數(shù)據(jù)結(jié)構(gòu)之隊(duì)列Queue
  • python中必會的四大高級數(shù)據(jù)類型(字符,元組,列表,字典)
  • python學(xué)習(xí)之panda數(shù)據(jù)分析核心支持庫
  • Python基礎(chǔ)之操作MySQL數(shù)據(jù)庫
  • Python數(shù)據(jù)分析入門之?dāng)?shù)據(jù)讀取與存儲

標(biāo)簽:常德 四川 益陽 惠州 黔西 鷹潭 上海 黑龍江

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《python保存大型 .mat 數(shù)據(jù)文件報(bào)錯(cuò)超出 IO 限制的操作》,本文關(guān)鍵詞  python,保存,大型,.mat,數(shù)據(jù),;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《python保存大型 .mat 數(shù)據(jù)文件報(bào)錯(cuò)超出 IO 限制的操作》相關(guān)的同類信息!
  • 本頁收集關(guān)于python保存大型 .mat 數(shù)據(jù)文件報(bào)錯(cuò)超出 IO 限制的操作的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    校园春色亚洲色图_亚洲视频分类_中文字幕精品一区二区精品_麻豆一区区三区四区产品精品蜜桃
    亚洲电影你懂得| 国产精品丝袜黑色高跟| 五月开心婷婷久久| 欧美日韩在线三级| 日韩在线一区二区三区| 日韩三级视频中文字幕| 韩国中文字幕2020精品| 国产日韩欧美精品综合| 色综合久久久久久久| 一区二区日韩电影| 欧美一区二区视频观看视频| 老司机一区二区| 中文字幕欧美三区| 欧美天天综合网| 麻豆成人av在线| 中文天堂在线一区| 欧日韩精品视频| 蜜臀av一区二区在线观看| 国产欧美精品区一区二区三区| 成人国产精品免费网站| 午夜私人影院久久久久| 久久免费午夜影院| 欧美在线免费视屏| 国产一区 二区| 一区二区三区在线高清| 精品蜜桃在线看| 色综合久久久久久久久久久| 久久国产夜色精品鲁鲁99| 中文乱码免费一区二区| 欧美一区在线视频| 成人美女视频在线观看| 日本不卡123| 亚洲天堂精品视频| 欧美成人精品二区三区99精品| 成人精品电影在线观看| 久久精品国产久精国产| 亚洲欧美色综合| 久久久久久久久免费| 欧美日韩亚洲不卡| 懂色av中文一区二区三区| 午夜精品一区二区三区电影天堂| 欧美激情一区二区三区蜜桃视频| 欧美一级二级三级蜜桃| 91久久久免费一区二区| 国产精品香蕉一区二区三区| 天堂蜜桃一区二区三区| 亚洲欧美日韩国产另类专区| 久久人人爽人人爽| 欧美一区二区福利视频| 欧美三区在线观看| 色偷偷久久一区二区三区| 粉嫩av一区二区三区| 精品无人区卡一卡二卡三乱码免费卡 | 国产精品视频看| 日韩欧美一级二级三级久久久| 91麻豆免费看| 成人av在线观| 国产精品亚洲第一区在线暖暖韩国 | 国产精品一卡二| 久久精品国产亚洲高清剧情介绍 | 日韩午夜在线观看视频| 欧美日韩中字一区| 欧洲生活片亚洲生活在线观看| 不卡影院免费观看| 国产91丝袜在线播放0| 久久99蜜桃精品| 日本sm残虐另类| 日韩av电影免费观看高清完整版| 亚洲美女在线国产| 亚洲乱码国产乱码精品精可以看 | 欧美韩国日本不卡| 国产欧美精品一区二区色综合| 久久免费看少妇高潮| 久久综合给合久久狠狠狠97色69| 欧美大黄免费观看| 久久久精品影视| 久久久久久日产精品| 国产偷国产偷亚洲高清人白洁| 久久综合国产精品| 中文字幕欧美三区| 自拍av一区二区三区| 一区二区三区在线免费视频| 一个色综合网站| 天天av天天翘天天综合网| 日韩成人dvd| 国产精品影音先锋| 国产ts人妖一区二区| 北条麻妃国产九九精品视频| 91蜜桃网址入口| 欧美中文字幕一二三区视频| 欧美日韩激情一区二区| 日韩精品专区在线| 国产农村妇女精品| 亚洲一区二区三区四区在线观看 | 国产精品一区二区三区乱码| 福利一区福利二区| 色欧美88888久久久久久影院| 在线观看日韩国产| 欧美一区二区在线免费观看| 精品国产三级电影在线观看| 国产三级精品视频| 亚洲免费观看高清| 免费成人在线观看| 不卡高清视频专区| 欧美妇女性影城| 中文字幕欧美日韩一区| 亚洲国产精品嫩草影院| 国产在线播放一区二区三区| 99视频精品全部免费在线| 欧美日韩国产高清一区二区三区| 精品成人佐山爱一区二区| 国产精品毛片无遮挡高清| 亚洲制服欧美中文字幕中文字幕| 久久国产欧美日韩精品| jizzjizzjizz欧美| 日韩精品中午字幕| 美女脱光内衣内裤视频久久网站| 中文文精品字幕一区二区| 亚洲日本电影在线| 青青国产91久久久久久 | 丁香一区二区三区| 欧美色涩在线第一页| 国产拍揄自揄精品视频麻豆| 亚洲二区在线视频| 成人性生交大片免费看中文| 欧美三级电影网站| 国产精品免费视频网站| 免费视频最近日韩| 日本高清不卡视频| 久久精品一二三| 免费日本视频一区| 欧美专区在线观看一区| 国产欧美日韩综合| 久久99精品久久久久久久久久久久| 91免费国产在线观看| 久久久久99精品一区| 男人的天堂久久精品| 欧美性色综合网| 中文字幕视频一区二区三区久| 久久精品国产99久久6| 欧美日韩国产高清一区二区 | 国产成人综合网站| 91麻豆精品国产自产在线| 一区二区三区在线观看国产| 成人av一区二区三区| 国产欧美精品在线观看| 国内精品视频一区二区三区八戒| 9191精品国产综合久久久久久| 亚洲欧美视频一区| 91香蕉视频污在线| 国产精品久久毛片a| 国产精品888| 久久久亚洲综合| 韩国av一区二区| 日韩精品一区二区三区视频在线观看| 亚洲午夜免费福利视频| 在线观看国产精品网站| 亚洲自拍另类综合| 91福利视频网站| 亚洲乱码日产精品bd| 色婷婷av久久久久久久| 亚洲欧美激情小说另类| 99久久精品99国产精品| 国产精品毛片大码女人| av中文一区二区三区| 中文字幕亚洲精品在线观看| 成人小视频在线| 国产精品久久免费看| 91色在线porny| 一区二区久久久| 欧美三级蜜桃2在线观看| 偷拍一区二区三区四区| 欧美一区二区视频观看视频| 久久国内精品视频| 国产亚洲欧美色| 波多野结衣在线一区| 成人欧美一区二区三区| 欧美亚一区二区| 婷婷久久综合九色国产成人| 欧美一区二区三区视频在线观看| 久久99深爱久久99精品| 国产亚洲欧洲997久久综合| av资源网一区| 午夜不卡av免费| 亚洲精品在线观| 99re热这里只有精品视频| 亚洲福利视频导航| 精品久久久久久最新网址| 成人自拍视频在线观看| 一区二区三区免费观看| 欧美变态tickle挠乳网站| 成人性视频网站| 亚洲综合色丁香婷婷六月图片| 欧美精品99久久久**| 国内成人精品2018免费看| 亚洲欧美日韩一区二区 | 日韩一区二区精品在线观看| 国产精品中文有码| 亚洲精品国产a| 精品剧情v国产在线观看在线|