Python过滤txt文件内重复内容的方法

yipeiwu_com6年前Python基础

Python过滤txt文件内重复内容,并将过滤后的内容保存到新的txt中

示例如下

原文件

Python 过滤txt文件内重复内容

处理之后的文件

Python 过滤txt文件内重复内容

直接上代码

# -*-coding:utf-8 -*-
f = open("1.txt", "rb")
n = f.read()
f.close()
m = n.split("\r\n")
print "m=",m
print m[1]
m1 = []
for i in xrange(len(m)):
 if not m[i] in m1:
  m1.append(m[i])
print "m1=", m1
filename = open("1.0.txt", "wb")
for i in xrange(len(m1)):
 filename.write(m1[i]+"\n")

可看到结果

Python 过滤txt文件内重复内容

以上这篇Python过滤txt文件内重复内容的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

Python判断字符串是否为字母或者数字(浮点数)的多种方法

str为字符串s为字符串 str.isalnum() 所有字符都是数字或者字母 str.isalpha() 所有字符都是字母 str.isdigit() 所有字符都是数字 str.iss...

老生常谈python函数参数的区别(必看篇)

在运用python的过程中,发现当函数参数为list的时候,在函数内部调用list.append()会改变形参,与C/C++的不太一样,查阅相关资料,在这里记录一下。 python中id...

numpy判断数值类型、过滤出数值型数据的方法

numpy是无法直接判断出由数值与字符混合组成的数组中的数值型数据的,因为由数值类型和字符类型组成的numpy数组已经不是数值类型的数组了,而是dtype='<U11'。 1、ma...

Django ModelForm组件使用方法详解

Django ModelForm组件使用方法详解

一、创建ModelForm from django.forms import ModelForm from appxx import models from django.form...

python读取大文件越来越慢的原因与解决

python读取大文件越来越慢的原因与解决

背景: 今天同事写代码,用python读取一个四五百兆的文件,然后做一串逻辑上很直观的处理。结果处理了一天还没有出来结果。问题出在哪里呢? 解决: 1. 同事打印了在不同时间点的时间,在...