使用python读取txt文件的内容,并删除重复的行数方法

yipeiwu_com6年前Python基础

注意,本文代码是使用在txt文档上,同时txt文档中的内容每一行代表的是图片的名字。

#coding:utf-8 
import shutil 
readDir = "原文件绝对路经" 
writeDir = "写入文件的绝对路径" 
#txtDir = "/home/fuxueping/Desktop/1" 
lines_seen = set() 
outfile=open(writeDir,"w") 
f = open(readDir,"r") 
for line in f: 
  if line not in lines_seen: 
    outfile.write(line) 
    lines_seen.add(line) 
outfile.close() 
print "success" 

最终结果在在写入文件内容中,没有重复内容。

以上这篇使用python读取txt文件的内容,并删除重复的行数方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

简单的Apache+FastCGI+Django配置指南

在Apache和FastCGI上使用Django,你需要安装和配置Apache,并且安装mod_fastcgi。 请参见Apache和mod_fastcgi文档: http://www....

python Jupyter运行时间实例过程解析

这篇文章主要介绍了python Jupyter运行时间实例过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 1.Python t...

Django 创建后台,配置sqlite3教程

Django 创建后台,配置sqlite3教程

1. 创建project django-admin.py startproject myweb1 2.创建app控制台输入 python manage.py startapp home...

用Python给文本创立向量空间模型的教程

我们需要开始思考如何将文本集合转化为可量化的东西。最简单的方法是考虑词频。 我将尽量尝试不使用NLTK和Scikits-Learn包。我们首先使用Python讲解一些基本概念。 基本词频...

python用类实现文章敏感词的过滤方法示例

python用类实现文章敏感词的过滤方法示例

过滤一遍并将敏感词替换之后剩余字符串中新组成了敏感词语,这种情况就要用递归来解决,直到过滤替换之后的结果和过滤之前一样时才算结束 第一步:建立一个敏感词库(.txt文本) 第二步:编写...