Python中怎么查找重复文件

今天就跟大家聊聊有关Python中怎么查找重复文件,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

创新互联主要企业基础官网建设,电商平台建设,移动手机平台,小程序制作等一系列专为中小企业定制网站开发产品体系;应对中小企业在互联网运营的各种问题,为中小企业在互联网的运营中保驾护航。

Python查找重复文件主要思路如下:

1. 查找同命文件

2. 利用了crc32,先检查出同样尺寸的文件,再计算crc32,得出相同的文件名列表。

下面是转载的一个Python查找重复文件的代码,虽然可以满足要求,但是在查找大量文件时候,速度很慢,我抽空把它调优。

#!/usr/bin/env python  #coding=utf-8  import binascii, os  filesizes = {}  samefiles = []  def filesize(path):  if os.path.isdir(path):  files = os.listdir(path)  for file in files:  filesize(path + "/" + file)  else:  size = os.path.getsize(path)  if not filesizes.has_key(size):  filesizes[size] = []  filesizes[size].append(path)  def filecrc(files):  filecrcs = {}  for file in files:  f = open(file, "r")  23 crc = binascii.crc32(f.read())  24 f.close()  if not filecrcs.has_key(crc):  filecrcs[crc] = []  filecrcs[crc].append(file)  for filecrclist in filecrcs.values():  if len(filecrclist) > 1:  samefiles.append(filecrclist)  if __name__ == '__main__':  path = r"J:\My Work" filesize(path)  for sizesamefilelist in filesizes.values():  if len(sizesamefilelist) > 1:  filecrc(sizesamefilelist)  for samfile in samefiles:  print "****** same file group ******"  for file in samefile:  print file

看完上述内容,你们对Python中怎么查找重复文件有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注创新互联行业资讯频道,感谢大家的支持。


分享名称:Python中怎么查找重复文件
标题网址:http://bzwzjz.com/article/pohsco.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 企业网站设计 网站制作 企业网站建设公司 成都网站制作公司 网站建设费用 四川成都网站制作 成都网站建设 重庆外贸网站建设 成都品牌网站建设 高端网站设计 商城网站建设 定制级高端网站建设 广安网站设计 网站建设公司 企业手机网站建设 定制网站建设多少钱 移动网站建设 成都网站设计 营销型网站建设 外贸营销网站建设 四川成都网站设计 温江网站设计