这篇文章将为大家详细讲解有关Python数据存储之h5py有什么用,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
创新互联公司成立与2013年,是专业互联网技术服务公司,拥有项目做网站、网站建设网站策划,项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命,1280元库车做网站,已为上家服务,为库车各地企业和个人服务,联系电话:189820811081、Python数据存储(压缩)
(1)numpy.save , numpy.savez , scipy.io.savemat
numpy和scipy内建的数据存储方式。
(2)cPickle + gzip
cPickle是pickle内建的数据存储方式,gzip是常用的文件压缩模块。
(3)h6py
h6py是对HDF5文件格式进行读写的python包,关于h6py更多介绍与安装,参考官方网站
关于HDF5,参考官方网站。:
一个HDF5文件就是一个由两种基本数据对象(groups and datasets)存放多种科学数据的容器:
HDF5 dataset: 数据元素的一个多维数组以及支持元数据(metadata); HDF5 group: 包含0个或多个HDF5对象以及支持元数据(metadata)的一个群组结构;
总之,dataset是类似于数组的数据集,而group是类似文件夹一样的容器,存放dataset和其他group;group和dataset在h6py中的使用有点类似于词典和Numpy中数组的用法。
h6py的优势:速度快、压缩效率高,总之,numpy.savez和cPickle存储work或不work的都可以试一试h6py!
2、h6py读取和存储数据示例
import h6py X= np.random.rand(100, 1000, 1000).astype('float32') y = np.random.rand(1, 1000, 1000).astype('float32') # Create a new file f = h6py.File('data.h6', 'w') f.create_dataset('X_train', data=X) f.create_dataset('y_train', data=y) f.close() # Load hdf5 dataset f = h6py.File('data.h6', 'r') X = f['X_train'] Y = f['y_train'] f.close()
关于“Python数据存储之h5py有什么用”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。