Rsync+inotify 构建多服务器同步方案

xunlei

1.1、rsync的优点与不足

与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。

随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。其次，rsync不能实时的去监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。基于以上原因，rsync+inotify组合出现了！

1.2、初识inotify

   Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。

在上面章节中，我们讲到，rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。

二、Rsync+inotify 配置

2.1、拓扑结构图

2.2、测试环境如下：

系统：Centos 6.4 64位

代码发布节点：

Node2:222.55.166.3

分布式更新：

Node3: 192.168.122.3

Node4: 192.168.122.4

Node5: 192.168.122.5

Node6: 192.168.122.6

IP对应的域名：

222.55.166.3 node2.rsync.org

192.168.122.3 node3.rsync.org

192.168.122.4 node4.rsync.org

192.168.122.5 node5.rsync.org

192.168.122.6 node6.rsync.org

2.3、软件安装

[Shell] 纯文本查看 复制代码

2.3.1、rsync安装（每台服务器上都要安装，以node2为例）
[iyunv@node2 ~]# yum  -y  install  rsync
[iyunv@ node2 ~]# rpm -qa |grep rsync
rsync-3.0.6-9.el6.x86_64
2.3.2、inotify安装（在node2、node3上安装）
  由于inotify特性需要Linux内核的支持，在安装inotify-tools前要先确认Linux系统内核是否达到了2.6.13以上，如果Linux内核低于2.6.13版本，就需要重新编译内核加入inotify的支持，也可以用如下方法判断，内核是否支持。

[iyunv@node2 ~]# uname -r
2.6.32-358.el6.x86_64
查看系统默认是否支持inotify
[iyunv@node2 ~]# ll /proc/sys/fs/inotify
total 0
-rw-r--r-- 1 root root 0 Jul 20 14:58 max_queued_events
-rw-r--r-- 1 root root 0 Jul 20 14:58 max_user_instances
-rw-r--r-- 1 root root 0 Jul 20 14:58 max_user_watches
有以上三项就代表系统默认是支持的，接着安装inotify-tools
[iyunv@node2 ~]# yum  -y  install inotify-tools
[iyunv@node2 ~]# rpm -qa |grep inotify
inotify-tools-3.14-1.el6.x86_64
2.4、配置分布式更新节点
  添加rsyncd.conf配置文件（node4、node5、node6）

[iyunv@node4 ~]# vim /etc/rsyncd.conf
uid = root
gid = root
use chroot = no
max connections = 10
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[web04]
path=/data/web/web04/
comment = update
ignore errors
read only = no
list = no
hosts allow = 192.168.122.0/24
auth users = root
uid = root
gid = root
secrets file = /etc/rsyncd.secrets
[iyunv@node4 ~]# vim /etc/rsyncd.secrets       #配置服务端用户和密码
root:123456
[iyunv@node4 ~]# chmod 600 /etc/rsyncd.secrets
[iyunv@node4 ~]# rsync --daemon              #启动rsync守护进程
[iyunv@node4 ~]# echo "rsync --daemon" >>/etc/rc.local  #将rsync服务加入到自启动文件中
  Node5、node6的基本上配置一样，只需要修改了/etc/rsyncd.conf里面的2个地方：rsync的同步名称为：[web05]、[web06]；path路径为：path=/home/kuangl/web05、path=/home/kuangl/web06
2.5、node3配置代码发布节点
  添加inotify脚本：实现数据同步到集群中的三个服务节点

[iyunv@node3 kuangl]# vim inotify.sh
#!/bin/bash
src=/data/web/
des1=web04
des2=web05
des3=web06
host1="node4.rsync.org"
host2="node5.rsync.org"
host3="node6.rsync.org"
inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib ${src} | while read files
do
rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.secrets --exclude=/data/web/index.html ${src} root@${host1}::${des1}
rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.secrets --exclude=/data/web/index.html ${src} root@${host2}::${des2}
rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.secrets --exclude=/data/web/index.html ${src} root@${host3}::${des3}
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done
  配置/etc/rsync.conf

[iyunv@node3 kuangl]# vim /etc/rsyncd.conf
uid = root
gid = root
use chroot = no
max connections = 5
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[web03]
path=/data/web/
comment = update
ignore errors
read only = no
list = no
hosts allow = node2.rsync.org
auth users = root
uid = root
gid = root
secrets file = /etc/rsyncd.secrets
增加用户和密码
[iyunv@node3 ~]# vim /etc/rsyncd.secrets
123456
root:123456
[iyunv@node3 ~]# chmod 600 /etc/rsyncd.secrets
启动守护进程
[iyunv@node3 ~]# rsync --daemon              #启动rsync守护进程
[iyunv@node3 ~]# echo "rsync --daemon" >>/etc/rc.local  #将rsync服务加入到自启动文件中
[iyunv@node3 ~]# nohup /home/kuangl/inotify.sh &
2.6、Node2配置代码发布节点
  添加inotify脚本：实现数据同步到node3上的节点

[iyunv@node2 ~]# vim /home/kuangl/inotify.sh
#!/bin/bash
src=/data/web/
des=web03
host="node3.rsync.org"
inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib ${src} | while read files
do
for hostip in ${host}
do
rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.secrets --exclude=/home/kuangl/index.html ${src} root@${hostip}::${des}
done
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done
增加用户和密码
[iyunv@node2 ~]# vim /etc/rsyncd.secrets
123456
[iyunv@node2~]# chmod 600 /etc/rsyncd.secrets
启动守护进程
[iyunv@node2 ~]# nohup /home/kuangl/inotify.sh &

三、测试

在代码服务器Node2上创建文件 kuangl.txt

kingforce

商女不知亡国恨、妓女不懂婚外情。

万达换票券

你曾说过，会给我唱，地老天荒、地久天长