Python 逐行分割大txt文件的方法

yipeiwu_com5年前Python基础

代码如下所示:

# -*- coding: <encoding name> -*-
import io
LIMIT = 150000
file_count = 0
url_list = []
with io.open('D:\DB_NEW_bak\DB_NEW_20171009_bak.sql','r',encoding='utf-16') as f:
  for line in f:
    url_list.append(line)
    if len(url_list) < LIMIT:
      continue
    file_name = str(file_count)+".sql"
    with io.open(file_name,'w',encoding='utf-16') as file:
      for url in url_list[:-1]:
        file.write(url)
      file.write(url_list[-1].strip())
      url_list=[]
      file_count+=1
if url_list:
  file_name = str(file_count) + ".sql"
  with io.open(file_name,'w',encoding='utf-16') as file:
    for url in url_list:
      file.write(url)
print('done')

Python从txt文件中逐行读取数据

非常的简单,提供三种方法:

方法一:

f = open("foo.txt")       # 返回一个文件对象 
line = f.readline()       # 调用文件的 readline()方法 
while line: 
  print line,         # 后面跟 ',' 将忽略换行符 
  # print(line, end = '')   # 在 Python 3中使用 
  line = f.readline() 
 
f.close() 

方法二:

for line in open("foo.txt"): 
  print line, 

方法三:

f = open("c:\\1.txt","r") 
lines = f.readlines()#读取全部内容 
for line in lines 
  print line 

总结

以上所述是小编给大家介绍的Python 逐行分割大txt文件,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对【听图阁-专注于Python设计】网站的支持!

相关文章

python中nan与inf转为特定数字方法示例

前言 最近因为工作的需求,要处理两个矩阵的点除,得到结果后,再作其他的计算,发现有些内置的函数不work;查看得到的数据,发现有很多nan和inf,导致Python的基本函数运行不了,这...

Python使用matplotlib 画矩形的三种方式分析

Python使用matplotlib 画矩形的三种方式分析

本文实例讲述了Python使用matplotlib 画矩形的三种方式。分享给大家供大家参考,具体如下: 假设矩形两点坐标如下,分别为:x1, y1, x2, y2 cat_dict[...

Python过滤txt文件内重复内容的方法

Python过滤txt文件内重复内容的方法

Python过滤txt文件内重复内容,并将过滤后的内容保存到新的txt中 示例如下 原文件 处理之后的文件 直接上代码 # -*-coding:utf-8 -*- f = o...

关于numpy数组轴的使用详解

关于numpy数组轴的使用详解

概述 按照图一中aixs=0,对aixs=0上下对应的数据进行相加在学习numpy的时候,最难理解的就是轴的概念,我们知道坐标系中有轴的概念,那么两个轴是否有关联呢?为了便于理解,特写此...

python进阶教程之文本文件的读取和写入

Python具有基本的文本文件读写功能。Python的标准库提供有更丰富的读写功能。 文本文件的读写主要通过open()所构建的文件对象来实现。 创建文件对象 我们打开一个文件,并使用一...