windows下同步方案-cwRsync
1. cwRsync简介cwRsync是Rsync在Windows上的实现版本,Rsync通过使用特定算法的文件传输技术,可以在网络上传输只修改了的文件。cwRsync主要用于Windows上的远程文件同步备份和同步,它包含Cygwin DLL和适用Cygwin版本的Rsync两部分。cwRsync分为Server和Client,本文使用的版本为4.1.0,下载地址如下:cwRsyncServer v4.1.0:http://pan.baidu.com/s/1eQpaIVwcwRsync v4.1.0:http://pan.baidu.com/s/1pJ3B1FX下面举例介绍Server及Client端的配置使用,本文使用环境如下:
Server: 192.168.85.236Client: 192.168.85.2492. Server安装使用2.1 安装一路点击Next,使用默认配置安装即可。2.2 配置修改配置文件rsyncd.conf如下(默认位置:C:\Program Files\ICW\):
# 一定要加上它, 否則會有 @ERROR Invalid UID nobody.
uid = 0
gid = 0
# 如果用了, 會有以下 Error
# file has vanished: "/proc" (in backup)
# rsync: readdir("/cygdrive" (in backup)): Bad address (14)
use chroot = no
# secrets.txt 的權限為 other 時, 那會有以下 Error
# secrets file must not be other-accessible (see strict modes option)
strict modes = false
hosts allow = *
log file = rsyncd.log
pid file = rsyncd.pid
port = 873
# Module definitions
# Remember cygwin naming conventions : c:\work becomes /cygwin/c/work
path = /cygdrive/d/test
read only = false
transfer logging = yes
部分重要参数解释如下:
1use chroot = no
2strict modes = false
3hosts allow = * #允许所有IP访问
4log file = rsyncd.log #日志文件
5pid file = rsyncd.pid #进程文件
6port = 873 #服务端口号
7uid = 0 #不限定用户
8gid = 0 #不限定组
9
10# Module definitions
11# Remember cygwin naming conventions : c:\work becomes /cygwin/c/work
12#
13 #认证的模块名,在client端需要指定使用
14path = /cygdrive/d/test #需要做镜像同步的目录,如d:/test
15read only = false
16transfer logging = yes
注:1. uid=0和gid=0需要指定,否则后面client进行同步时会报错:@ERROR: invalid uid nobodyrsync error: error starting client-server protocol (code 5) at main.c(1516) 2. 上述只是简单的配置示例,还有很多其他的选项,可以参考帮助文件:C:\Program Files\ICW\doc\rsyncd.conf.html2.3 启动服务在Server机器上运行services.msc,选择服务"RsyncServer"配置启动类型为"自动",后启动该服务。3. Client安装使用3.1 安装与Server相同,一路点击Next,使用默认配置安装即可。3.2 使用新建一个test.bat文件,内容如下:
1@echo off
2set RSYNC_HOME=C:\Program Files\cwRsync\bin
3cd %RSYNC_HOME%
4C:
5rsync -avzP --progress --delete rsync://192.168.85.236:873/test /cygdrive/d/test
命令参数详解:
1-avzP
2-a 参数,相当于-rlptgoD:
3-r 是递归
4-l 是链接文件,意思是拷贝链接文件
5-p 表示保持文件原有权限
6-t 保持文件原有时间
7-g 保持文件原有用户组
8-o 保持文件原有属主
9-D 相当于块设备文件
10
11-v 详细模式输出
12-z 传输时压缩
13-P 显示传输进度
14
15--progress 显示备份同步过程
16--delete 删除Client中有Server没有的文件,即如果Server删除了这一文件,那么client也相应把文件删除,保持真正的一致
17
18rsync://192.168.85.236:873/test 配置Sever的IP地址及需要同步的模块名(Server rsyncd.conf中配置)
19/cygdrive/d/test 存放同步文件的Client本地目录D:\test
运行bat,Client会进行文件远程同步,截图如下:
3.3 测试在上述环境上,进行了大批量文件的同步测试,结果如下:
测试说明开始时间结束时间耗时
新增2.7w文件 (大小27.5G)17:07:0220:56:333:49:31
2.7w文件基础上,进行一次同步 (文件数0)9:12:109:17:460:05:36
2.7w文件基础上,进行一次同步 (文件数100 大小130M)9:27:339:33:250:05:52
[*]每次进行同步时,client均会获取更新文件列表,文件数目比较大时(2.7w 27.5G)耗时较长(5min47s)
[*]在此基础上进行增量更新耗时较短,更新100个文件(减去获取列表时间)只需耗时16s
4.计划任务配置
1. 在client机器上选择:控制面板->任务计划->添加任务计划2. 点击下一步->浏览,打开上述的test.bat文件3. 选择每天执行一次
4. 配置起始时间
5. 点击下一步,输入服务器用户名及密码,完成任务添加
6. 选择刚才添加的任务,配置属性:日常安排->高级,选择重复任务,配置每20分钟执行一次,持续24小时
这时,计划任务就会每天24小时,每20分钟运行一次的方式来自动进行client与Server间的数据同步了。
eg:
服务器端需要同步的目录:E:/test ,test 目录下有:dir1/test.txt 文件
1、排除服务器端(即不同步)dir1/test.txt 文件
rsync -avzP --progress --delete --exclude="dir1/test.txt" rsync://192.168.1.22:873/test/cygdrive/e/rsync #同步到: E:/rsync
# --delete 表示删除客户端有但服务器端不存在的文件/目录
# --exclude="dir1/test.txt"表示客户端不同步服务器端 E:/test/dir1/test.txt文件,也不会修改本地已经存在的E:/rsync/dir1/test.txt文件
# --exclude="test.txt"当exclude值为test.txt时,将不修改所有test.txt文件
# --exclude="dir1/"当exclude值为dir1时,将不修改dir1目录下的所有文件
————————————————————————
bat脚本内容:
@echo off
set RSYNC_HOME=D:\Program Files\ICWclient\cwRsync\bin
set RSYNC_PASSWORD=mogo
"%RSYNC_HOME%\rsync" -avzP --progress --delete --exclude=web.config --port=873 mogo@127.0.0.1::test /cygdrive/e/test
或者cmd下:
"D:\Program Files\ICWclient\cwRsync\bin\rsync" -avzP --prog
ress --delete --exclude=web.config --port=873 mogo@127.0.0.1::test /cygdrive/
e/testhahaha < D:\Documents\Desktop\mogo.txt
#mogo.txt密码内容:mogo
页:
[1]