python检测文件的MD5值

MD5（单向散列算法）的全称是Message-Digest Algorithm 5（信息-摘要算法），经MD2、MD3和MD4发展而来。MD5算法的使用不需要支付任何版权费用。      

      每个文件都会有一个MD5的加密值，这个值来唯一标识这个文件，它常用来辨别文件的真伪，例如下载系统安装镜像，旁边会附带一个长长的字符乱码，这就是这个镜像的MD5值。文件被修改后其MD5值也会改变，所以可以用来判断一个文件是否被修改过。这样的方法比基于时间、文件大小的比较显然更加可靠。

感谢大神之作：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
#!/usr/bin/env python
#coding: utf-8
import 
re
import 
os
import 
shutil
import 
time
import 
random
import 
sys
import 
urllib
import 
hashlib
#重复邮件的目录
FROM_FOLDER_LIST
=
[
"/data/zhangsan/cur"
,]
#准确的，即去重后的需要的邮件
TARGET_FOLDER
=
"/root/patch1"
#得到的重复邮件
TARGET_FOLDER2
=
"/root/patch3"
def 
get_md5_value(src):
        
#调用hashlib里的md5()生成一个md5 hash对象
        
myMd5 
= 
hashlib.md5()
        
#生成hash对象后，就可以用update方法对字符串进行md5加密的更新处理
        
myMd5.update(src)
        
#加密后的十六进制结果
        
myMd5_Digest 
= 
myMd5.hexdigest()
        
#返回十六进制结果
        
return 
myMd5_Digest
MD5_POOL
=
{
}
for 
FROM_FOLDER 
in 
FROM_FOLDER_LIST:
        
for 
root, dirs, files 
in 
os.walk(FROM_FOLDER):
                
for 
file_name 
in 
files:
                        
filepath 
= 
"%s/%s"
%
(root,file_name)
                        
print 
"扫描文件  "
,filepath
                        
#以上几行是循环扫描每个文件，并打印出来
                        
try
:
                                
#打开一个文件，并定义为fobj别名
                                
with 
open
(filepath,
"rb"
) as fobj:
                                        
#读文件
                                        
code 
= 
fobj.read()
                                
#调用获取md5值的函数，返回文件的十六进制结果，并赋值给md5_v变量
                                
md5_v 
= 
get_md5_value(code)
                                
#假如md5_v没在MD5_POOL池（字典）中，然后打印出来，并移动到TARGET_FOLDER目录
                                
if 
not 
md5_v 
in 
MD5_POOL:
                                        
print 
"移动文件 %s 到目录 %s下"
%
(filepath,TARGET_FOLDER)
                                        
shutil.move(filepath, 
"%s/%s"
%
(TARGET_FOLDER,file_name))
                                        
#然后加到池中，一个是key，一个是值
                                        
MD5_POOL[md5_v] 
= 
file_name
                                
else
:
                                        
#假如池中，就重复了，就移动到TARGET_FOLDER2目录
                                        
print 
"%s 是重复文件， 移动到目录 %s下"
%
(filepath,TARGET_FOLDER2)
                                        
shutil.move(filepath, 
"%s/%s"
%
(TARGET_FOLDER2,file_name))
                        
except 
Exception,err:
                                
print 
err
                                
print 
"copy file %s error"
%
filepath
                                
continue