python删除本地夹里重复文件的方法

yipeiwu_com6年前Python基础

上次的博文主要说了从网上下载图片,于是我把整个笑话网站的图片都拔下来了,但是在拔取的图片中有很多重复的,比如说页面的其他图片、重复发布的图片等等。所以我又找了python的一些方法,写了一个脚本可以删除指定文件夹里重复的图片。

一、方法和思路

1.比对文件是否相同的方法:hashlib库里提供了获取文件md5值的方法,所以我们可以通过md5值来判定是否图片相同

2.对文件的操作:os库里有对文件的操作方法,比如:os.remove()可以删除指定的文件, os.listdir()可以通过指定文件夹路径获取文件夹里所有文件的文件名

思路:通过获取指定文件夹的所有文件名,然后匹配为一个绝对路径的列表,循环的比对每个文件的md5值,如果md5值重复,则删除这个文件

二、代码实现

import os 
import hashlib 
import logging 
import sys 
 
def logger(): 
 """ 获取logger""" 
 logger = logging.getLogger() 
 if not logger.handlers: 
  # 指定logger输出格式 
  formatter = logging.Formatter('%(asctime)s %(levelname)-8s: %(message)s') 
  # 文件日志 
  file_handler = logging.FileHandler("test.log") 
  file_handler.setFormatter(formatter) # 可以通过setFormatter指定输出格式 
  # 控制台日志 
  console_handler = logging.StreamHandler(sys.stdout) 
  console_handler.formatter = formatter # 也可以直接给formatter赋值 
  # 为logger添加的日志处理器 
  logger.addHandler(file_handler) 
  logger.addHandler(console_handler) 
  # 指定日志的最低输出级别,默认为WARN级别 
  logger.setLevel(logging.INFO) 
 return logger 
 
def get_md5(filename): 
 m = hashlib.md5() 
 mfile = open(filename, "rb") 
 m.update(mfile.read()) 
 mfile.close() 
 md5_value = m.hexdigest() 
 return md5_value 
 
def get_urllist(): 
 #替换指定的文件夹路径即可 
 base = ("F:\\pythonFile\\煎蛋网\\无聊图\\jpg\\") 
 list = os.listdir(base) 
 urlList=[] 
 for i in list: 
  url = base + i 
  urlList.append(url) 
 return urlList 
 
if __name__ == '__main__': 
 log = logger() 
 md5List =[] 
 urlList =get_urllist() 
 for a in urlList: 
  md5 =get_md5(a) 
  if (md5 in md5List): 
   os.remove(a) 
   print("重复:%s"%a) 
   log.info("重复:%s"%a) 
  else: 
   md5List.append(md5) 
   # print(md5List) 
   print("一共%s张照片"%len(md5List)) 

然后我们可以通过日志来查看到底哪些文件是重复的,不过对于一些超大文件的话,md5值的获取会有一些变化,不过处理一般的小文件都可以的,只需要替换我的路径,就可以在你电脑上运行啦。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

Python 一行代码能实现丧心病狂的功能

Python 一行代码能实现丧心病狂的功能

手头有 109 张头部 CT 的断层扫描图片,我打算用这些图片尝试头部的三维重建。基础工作之一,就是要把这些图片数据读出来,组织成一个三维的数据结构(实际上是四维的,因为每个像素有 RG...

Python压缩和解压缩zip文件

zip文件是我们经常使用的打包格式之一,python解压和压缩zip效率非凡。 python解压zip文档: 复制代码 代码如下: #/usr/bin/python #coding=ut...

在Python中append以及extend返回None的例子

在Python中append以及extend返回None的例子

Python中,列表是可以进行修改的:赋值、删除元素、分片等等。在给列表添加元素时,有两个常见的方法:append和extend。append在列表的最后添加元素,但是每次只能添加一个元...

Python3.6实现带有简单界面的有道翻译小程序

本人使用的是Python3.6(32bit),在win10上运行的     代码如下: from tkinter import * import url...

Python判断中文字符串是否相等的实例

Python判断中文字符串是否相等的实例

Python判断两个相等的中文字符串为false,将两个待比较的字符串都把unicode编码设为‘utf-8'也不能解决问题,具体原因如下: 1.首先查看待比较两个字符串的编码格式 ,使...