目标：
1.传入3个参数:源文件路径，目标文件路径，md5文件
2.每周一实现全量备份，其余时间增量备份
1.通过传入的路径，获取该路径下面的所有目录和文件(递归)
方法一：使用os.listdir
代码如下：
#!/usr/bin/env python
#coding:utf8
import os,sys
def lsdir(folder):
contents = os.listdir(folder)
print "%s\n%s\n" % (folder, contents)
for path in contents:
full_path = os.path.join(folder, path)
if os.path.isdir(full_path):
lsdir(full_path)
if __name__ == "__main__":
lsdir(sys.argv[1])
•运行代码，效果如下：
[root@localhost python]# python listdir.py /a
/a
['b', 'a.txt']
/a/b
['c', 'b.txt']
/a/b/c
['c.txt']
方法二：使用os.walk
代码如下：
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import os,sys
def lsdir(folder):
contents = os.walk(folder)
for path, folder, file in contents:
print "%s\n%s\n" %(path, folder + file)
if __name__ == "__main__":
lsdir(sys.argv[1])
•运行代码，测试效果
[root@localhost python]# python listdir1.py /a
/a
['b', 'a.txt']
/a/b
['c', 'b.txt']
/a/b/c
['c.txt']
2.如何计算文件的md5值(每次读取4K，直到读取完文件所有内容，返回一个16进制的md5值)
代码如下：
[root@localhost python]# cat md5.py
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import hashlib
import sys
def md5(fname):
m = hashlib.md5()
with open(fname) as fobj:
while True:
data = fobj.read(4096)
if not data:
break
m.update(data)
return m.hexdigest()
if __name__ == "__main__":
print md5(sys.argv[1])
•运行代码，测试效果
[root@localhost python]# python md5.py a.txt
c33da92372e700f98b006dfa5325cf0d
[root@localhost python]# md5sum a.txt
c33da92372e700f98b006dfa5325cf0d a.txt
*提示：使用linux自带的md5sum和自己编写的Python计算的md5值相通
3.编写全量和增量备份脚本
代码如下：
#!/usr/bin/env python
#coding:utf8
import time
import os
import tarfile
import cPickle as p
import hashlib
def md5check(fname):
m = hashlib.md5()
with open(fname) as fobj:
while True:
data = fobj.read(4096)
if not data:
break
m.update(data)
return m.hexdigest()
def full_backup(src_dir, dst_dir, md5file):
par_dir, base_dir = os.path.split(src_dir.rstrip('/'))
back_name = '%s_full_%s.tar.gz' % (base_dir, time.strftime('%Y%m%d'))
full_name = os.path.join(dst_dir, back_name)
md5dict = {}
tar = tarfile.open(full_name, 'w:gz')
tar.add(src_dir)
tar.close()
for path, folders, files in os.walk(src_dir):
for fname in files:
full_path = os.path.join(path, fname)
md5dict[full_path] = md5check(full_path)
with open(md5file, 'w') as fobj:
p.dump(md5dict, fobj)
def incr_backup(src_dir, dst_dir, md5file):
par_dir, base_dir = os.path.split(src_dir.rstrip('/'))
back_name = '%s_incr_%s.tar.gz' % (base_dir, time.strftime('%Y%m%d'))
full_name = os.path.join(dst_dir, back_name)
md5new = {}
for path, folders, files in os.walk(src_dir):
for fname in files:
full_path = os.path.join(path, fname)
md5new[full_path] = md5check(full_path)
with open(md5file) as fobj:
md5old = p.load(fobj)
with open(md5file, 'w') as fobj:
p.dump(md5new, fobj)
tar = tarfile.open(full_name, 'w:gz')
for key in md5new:
if md5old.get(key) != md5new[key]:
tar.add(key)
tar.close()
if __name__ == '__main__':
src_dir = '/Users/xkops/gxb/'
dst_dir = '/tmp/'
md5file = '/Users/xkops/md5.data'
if time.strftime('%a') == 'Mon':
full_backup(src_dir, dst_dir, md5file)
else:
incr_backup(src_dir, dst_dir, md5file)
•运行代码，测试效果(执行前，修改需要备份的文件和路径)，运行之后检查/tmp下是否生成了当天的备份文件。
python实现对文件的全量、增量备份
#!/user/bin/env python # @Time :/6/6 10:10 # @Author :PGIDYSQ #@File :FileBackup2.py import os i ...
MySQL5.7.18 备份、Mysqldump，mysqlpump，xtrabackup，innobackupex 全量，增量备份，数据导入导出
粗略介绍冷备,热备,温暖,及Mysqldump,mysqlpump,xtrabackup,innobackupex 全量,增量备份 --备份的目的 灾难恢复:意外情况下(如服务器宕机.磁盘损坏等)对损 ...
mysql全量和增量备份详解(带脚本)
在日常运维工作中,对mysql数据库的备份是万分重要的,以防在数据库表丢失或损坏情况出现,可以及时恢复数据. 下面对这种备份方案详细说明下:1.MySQLdump增量备份配置执行增量备份的前提条件是M ...
oracle全量、增量备份
采用0221222增量备份策略,7天一个轮回 也就是周日0级备份,周1 2 4 5 6 采用2级增量备份,周3采用1级增量备份 打开控制文件自动备份 CONFIGURE CONTROLFILE AUT ...
innobackupex在线备份及恢复(全量和增量)
Xtrabackup是由percona开发的一个开源软件,它是innodb热备工具ibbackup(收费的商业软件)的一个开源替代品.Xtrabackup由个部分组成:xtrabackup和innob ...
关于Subversion主从备份方式的调整(全量、增量脚本)更新
本文引用于/uid-25266990-id-3369172.html 之前对Subversion服务器作了迁移,关于SVN的架构也走了调整,有单一的服 ...
Mysql备份工具xtraback全量和增量测试
Mysql备份工具xtraback全量和增量测试 xtrabackup是percona的一个开源项目,可以热备份innodb,XtraDB,和MyISAM(会锁表) 官方网址http:// ...
MySQL数据以全量和增量方式，同步到ES搜索引擎
本文源码:GitHub·点这里 || GitEE·点这里 一.配置详解 场景描述:MySQL数据表以全量和增量的方式向ElasticSearch搜索引擎同步. 1.下载内容 elasticsearch ...
python模块目录文件后续
1,新增PythonModule加载path Ruiy tip(关于python list[]数据库类型特殊你懂的!append(""),extend([""] ...
随机推荐
stm32 usb error : identifier ";bool"; is undefined
.\usb\USB\usb_pwr.h(54): error: #20: identifier "bool" is undefinedusb\USB\usb_pwr.h(54): ...
解决Android SDK Content Loader 0%的问题
在Android的开发过程中,应该说大多数人都遇到过此问题. 具体原因不得而知,在workspace中导入了太多的工程可能是其中一个原因. 网上有很多针对此问题的解决方法,对于我自己而言,下面两个方法 ...
findByExample(Object exampleEntity)方法得到的List判断是否为空，不可用(lis != null)
用findByExample(Object exampleEntity)方法可以应用在用户登录上面,获得有登陆名和密码的user对象进行查询. 返回两者都符合的对象列表,为空则登陆失败. 错误的方法: ...
NuGet更新引用Dll
第一种通过 "Add Library Package Reference..." 添加 点击 ‘Add Library Package Reference...’ , 搜索你要添 ...
hdu 4857 逃生
题目连接 http://acm./showproblem.php?pid=4857 逃生 Description 糟糕的事情发生啦,现在大家都忙着逃命.但是逃命的通道很窄,大家只能 ...
检测android机器是否有GPS模块
public boolean hasGPSDevice(Context context) { final LocationManager mgr = (LocationManager)context. ...
使用ReactiveCocoa实现iOS平台响应式编程
使用ReactiveCocoa实现iOS平台响应式编程 ReactiveCocoa和响应式编程 在说ReactiveCocoa之前,先要介绍一下FRP(Functional Reactive Prog ...
nodejs的重要支柱
概念:模块(Module)和包(Package)是Node.js最重要的支柱. 开发一个具有一定规模的程序不可能只用一个文件,通常需要把各个功能拆分.分装.然后组合起来.模块正式为了实现这种方式而诞生 ...
jsp和servlet的区别和联系
jsp和servlet的区别和联系:1.jsp经编译后就变成了Servlet.(JSP的本质就是Servlet,JVM只能识别java的类,不能识别JSP的代码,Web容器将JSP的代码编译成JVM能 ...
Properties集合_练习
定义功能:获取一个应用程序 运行次数,如果超过5次,给出使用次数已到请注册的提示,并不要再运行程序 思路: 1.定义计数器:每次程序启动都需要计数一次,并且是在原有的次数上进行计数. 2.计数器就 ...
如果觉得《python 读取文件夹 增量文件_Python实现目录文件的全量和增量备份》对你有帮助，请点赞、收藏，并留下你的观点哦！
