Python 逐行分割大txt文件的方法

yipeiwu_com7年前Python基础

代码如下所示:

# -*- coding: <encoding name> -*-
import io
LIMIT = 150000
file_count = 0
url_list = []
with io.open('D:\DB_NEW_bak\DB_NEW_20171009_bak.sql','r',encoding='utf-16') as f:
  for line in f:
    url_list.append(line)
    if len(url_list) < LIMIT:
      continue
    file_name = str(file_count)+".sql"
    with io.open(file_name,'w',encoding='utf-16') as file:
      for url in url_list[:-1]:
        file.write(url)
      file.write(url_list[-1].strip())
      url_list=[]
      file_count+=1
if url_list:
  file_name = str(file_count) + ".sql"
  with io.open(file_name,'w',encoding='utf-16') as file:
    for url in url_list:
      file.write(url)
print('done')

Python从txt文件中逐行读取数据

非常的简单,提供三种方法:

方法一:

f = open("foo.txt")       # 返回一个文件对象 
line = f.readline()       # 调用文件的 readline()方法 
while line: 
  print line,         # 后面跟 ',' 将忽略换行符 
  # print(line, end = '')   # 在 Python 3中使用 
  line = f.readline() 
 
f.close() 

方法二:

for line in open("foo.txt"): 
  print line, 

方法三:

f = open("c:\\1.txt","r") 
lines = f.readlines()#读取全部内容 
for line in lines 
  print line 

总结

以上所述是小编给大家介绍的Python 逐行分割大txt文件,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对【听图阁-专注于Python设计】网站的支持!

相关文章

对python 调用类属性的方法详解

对python 调用类属性的方法详解

测试时候类的调用是经常会用到的。简单看下类的调用使用的方法吧。 来看例子: 目录结构: 我们现在要在do_class.py这个文件里调用class_learn.py里的类 代码(do_...

python中判断文件编码的chardet(实例讲解)

1、实测,这个版本在32位window7和python3.2环境下正常使用。  2、使用方法:把解压后所得的chardet和docs两个文件夹拷贝到python3.2目录下的L...

神经网络python源码分享

神经网络python源码分享

神经网络的逻辑应该都是熟知的了,在这里想说明一下交叉验证 交叉验证方法: 看图大概就能理解了,大致就是先将数据集分成K份,对这K份中每一份都取不一样的比例数据进行训练和测试。得出K个误...

对python中list的拷贝与numpy的array的拷贝详解

对python中list的拷贝与numpy的array的拷贝详解

1.python中列表list的拷贝,会有什么需要注意的呢? python变量名相当于标签名。 list2=list1 ,直接赋值,实质上指向的是同一个内存值。任意一个变量list1...

python 实现list或string按指定分段

我就废话不多说了,直接上代码吧! #方法一 def list_cut(mylist,count): length=len(mylist) merchant=length//c...