Python 读取某个目录下所有的文件实例

yipeiwu_com5年前Python基础

在处理数据的时候,因为没有及时的去重,所以需要重新对生成txt进行去重。

可是一个文件夹下有很多txt,总不可能一个一个去操作,这样效率太低了。这里我们需要用到 os 这个包

关键的代码

<span style="font-size:14px;"># coding=utf-8
#出现了中文乱码的问题,于是我无脑utf-8 。希望后期的学习可以能理解
import os
import os.path
import re
import sys
import codecs
reload(sys)
sys.setdefaultencoding('utf-8')

#这里放着你要操作的文件夹名称
path = 'E:\\get_key\\'

#把e:\get_key\目录下的文件名全部获取保存在files中
files = os.listdir(path.decode('utf-8'))

#用set可以很好的去重,在数据处理的时候经常会被使用到。这里做初始化
datas = set()

for file in files :
 #准确获取一个txt的位置,利用字符串的拼接
 txt_path = 'E:\\get_key\\'+file.decode('utf-8')
 #把结果保存了在contents中
 contents = codecs.open(txt_path.decode('utf-8'),'r',encoding='utf-8')
 
 #datas的数据清空 
 datas.clear()
 
 #把数据add到datas中,可以去重
 for content in contents:
  print(content.decode('utf-8'))
  datas.add(content.decode('utf-8'))

 #去重后新的文件保存的路径
 new_txt_path = 'E:\\get_key3\\' + file.decode('utf-8')
 unique_keywords = codecs.open(new_txt_path.decode('utf-8'), 'w', encoding='utf-8')

 #把datas里的数据输出到新生成的txt中
 for data in datas:
  unique_keywords.write(data+"\n")

 #释放资源
 unique_keywords.close()</span>

以上这篇Python 读取某个目录下所有的文件实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

深入浅析Python传值与传址

1. 传值与传址的区别 传值就是传入一个参数的值,传址就是传入一个参数的地址,也就是内存的地址(相当于指针)。他们的区别是如果函数里面对传入的参数重新赋值,函数外的全局变量是否相应改变:...

编写Python的web框架中的Model的教程

有了ORM,我们就可以把Web App需要的3个表用Model表示出来: import time, uuid from transwarp.db import next_id fr...

python实现两个字典合并,两个list合并

1.两个字典:a={‘a':1,'b':2,'c':3} b= {‘aa':11,'bb':22,'cc':33} 合并1:dict(a,**b) 操作如下: >>>...

python 经典数字滤波实例

python 经典数字滤波实例

数字滤波分为 IIR 滤波,和FIR 滤波。 FIR 滤波: import scipy.signal as signal import numpy as np import pyla...

简单谈谈Python流程控制语句

人们常说人生就是一个不断做选择题的过程:有的人没得选,只有一条路能走;有的人好一点,可以二选一;有些能力好或者家境好的人,可以有更多的选择;还有一些人在人生的迷茫期会在原地打转,找不到方...