对python中大文件的导入与导出方法详解

yipeiwu_com7年前Python基础

1、csv文件的导入和导出

通过一个矩阵导出为csv文件,将csv文件导入为矩阵

将csv文件导入到一个矩阵中

import numpy 
my_matrix = numpy.loadtxt(open("c:\\1.csv","rb"),delimiter=",",skiprows=0) 

将矩阵导出到本地csv中

numpy.savetxt('new.csv', my_matrix, delimiter = ',') 

未完待续。。。

也可以使用pickle模块,保存的文件是序列化的

python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去,永久存储;通过pickle模块的反序列化操作,我们能够从文件中创建上一次程序保存的对象。

pickle.dump(obj, file, [,protocol]) 

注解:将对象obj保存到文件file中去。

protocol为序列化使用的协议版本,0:ASCII协议,所序列化的对象使用可打印的ASCII码表示;1:老式的二进制协议;2:2.3版本引入的新二进制协议,较以前的更高效。其中协议0和1兼容老版本的python。protocol默认值为0。

file:对象保存到的类文件对象。file必须有write()接口, file可以是一个以'w'方式打开的文件或者一个StringIO对象或者其他任何实现write()接口的对象。如果protocol>=1,文件对象需要是二进制模式打开的。

pickle.load(file) 

注解:从file中读取一个字符串,并将它重构为原来的python对象。

file:类文件对象,有read()和readline()接口。

保存数据

tmpdatapath = "E:\\data\\u_i_matrix.csv" 
savefp = open(tmpdatapath,"w")
pickle.dump(u_i_mat,savefp)
savefp.close();

导入数据

fp_mat = open("E:\\data\\tmpdata\\u_i_matrix.csv","r")
rMat = pickle.load(fp_mat)
fp_mat.close()

追加:将内容通过print输入到文件中

str=”a string to print to file” 
f=open(‘out.txt','w') 
print >>f,str 
f.close()

以上这篇对python中大文件的导入与导出方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

Python文件路径名的操作方法

1 文件路径名操作   对于文件路径名的操作在编程中是必不可少的,比如说,有时候要列举一个路径下的文件,那么首先就要获取一个路径,再就是路径名的一个拼接问题,通过字符串的拼接就可以得到一...

python中多个装饰器的调用顺序详解

python中多个装饰器的调用顺序详解

前言 一般情况下,在函数中可以使用一个装饰器,但是有时也会有两个或两个以上的装饰器。多个装饰器装饰的顺序是从里到外(就近原则),而调用的顺序是从外到里(就远原则)。 原代码 执行结果...

Python简单处理坐标排序问题示例

本文实例讲述了Python简单处理坐标排序问题。分享给大家供大家参考,具体如下: 前面一篇学了列表的冒泡排序算法,这一节利用此算法处理一下坐标排序的问题 我实现的功能是从上到下,从左到右...

关于Flask项目无法使用公网IP访问的解决方式

关于Flask项目无法使用公网IP访问的解决方式

最近在折腾Python Web,在测试的时候发现,本机可以正常访问,但外网无法通过公网IP访问页面。经过各种搜索,有大致三种解决方案。 一、修改/添加安全组端口 这是第一种方案,也是能解...

django ManyToManyField多对多关系的实例详解

django ManyToManyField多对多关系的实例详解

Django 的 ORM 有多种关系:一对一,多对一,多对多 各自定义的方式为 : 一对一: OneToOneField 多对一: ForeignKey 多对多: ManyToManyF...