Ubuntu 下rsync+inotify实现实时文件同步

赤色烙印

　　rsync+inotify实现实时文件同步
　　一、rsync的优点与不足
　　    与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。
　　    随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。其次，rsync不能实时的去监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。
　　基于以上原因，rsync+inotify组合出现了！
　　二、初识inotify
　　    Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。
　　    rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题.
　　三、安装inotify工具inotify-tools
　　 由于inotify特性需要Linux内核的支持，在安装inotify-tools前要先确认Linux系统内核是否达到了2.6.13以上，如果Linux内核低于2.6.13版本，就需要重新编译内核加入inotify的支持，也可以用如下方法判断，内核是否支持inotify：
　　root@zko-laptop:/home/zko/common# uname -r
　　3.13.0-36-generic
　　root@zko-laptop:/home/zko/common# ll /proc/sys/fs/inotify
　　总用量 0
　　-rw-r--r-- 1 root root 0  9月 30 22:26 max_queued_events
　　-rw-r--r-- 1 root root 0  9月 30 22:26 max_user_instances
　　-rw-r--r-- 1 root root 0  9月 30 13:45 max_user_watches
　　如果有上面三项输出，表示系统已经默认支持inotify，接着就可以开始安装inotify-tools了。
　　安装inotify-tools;
　　root@zko-laptop:/home/zko#
　　wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
　　root@zko-laptop:/home/zko# mkdir tools
　　root@zko-laptop:/home/zko# cd tools/
　　root@zko-laptop:/home/zko/tools#
　　mv /home/zko/common/inotify-tools-3.14.tar.gz inotify-tools-3.14.tar.gz
　　root@zko-laptop:/home/zko/tools# ls
　　inotify-tools-3.14.tar.gz
　　root@zko-laptop:/home/zko/tools/inotify-tools-3.14# ./configure
　　root@zko-laptop:/home/zko/tools/inotify-tools-3.14# make && make install
　　root@zko-laptop:/home/zko/tools/inotify-tools-3.14# ll /usr/local/bin
　　总用量 104
　　-rwxr-xr-x 1 root root 51061  9月 30 22:30 inotifywait
　　-rwxr-xr-x 1 root root 51443  9月 30 22:30 inotifywatch
　　  inotify-tools安装完成后，会生成inotifywait和inotifywatch两个指令，其中，inotifywait用于等待文件或文件集上的一个特定事件，它可以监控任何文件和目录设置，并且可以递归地监控整个目录树。
　　  inotifywatch用于收集被监控的文件系统统计数据，包括每个inotify事件发生多少次等信息。
　　四、 inotify相关参数
　　   inotify定义了下列的接口参数，可以用来限制inotify消耗kernel memory的大小。由于这些参数都是内存参数，因此，可以根据应用需求，实时的调节其大小。下面分别做简单介绍。
　　   /proc/sys/fs/inotify/max_queued_evnets     表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值，超出这个值的事件被丢弃，但会触发IN_Q_OVERFLOW事件。
　　  /proc/sys/fs/inotify/max_user_instances    表示每一个real user ID可创建的inotify instatnces的数量上限。
　　   /proc/sys/fs/inotify/max_user_watches      表示每个inotify instatnces可监控的最大目录数量。如果监控的文件数目巨大，需要根据情况，适当增加此值的大小，例如：
　　echo 30000000 > /proc/sys/fs/inotify/max_user_watches
　　
　　root@zko-laptop:/home/zko/tools/inotify-tools-3.14# cd /proc/sys/fs/inotify
　　root@zko-laptop:/proc/sys/fs/inotify# ll
　　总用量 0
　　-rw-r--r-- 1 root root 0  9月 30 22:26 max_queued_events
　　-rw-r--r-- 1 root root 0  9月 30 22:26 max_user_instances
　　-rw-r--r-- 1 root root 0  9月 30 13:45 max_user_watches
　　root@zko-laptop:/proc/sys/fs/inotify# cat max_queued_events
　　16384
　　root@zko-laptop:/proc/sys/fs/inotify# cat max_user_instances
　　128
　　root@zko-laptop:/proc/sys/fs/inotify# cat max_user_watches
　　524288
　　五、 inotifywait相关参数
　　Inotifywait是一个监控等待事件，可以配合shell脚本使用它，下面介绍一下常用的一些参数：
　　l -m， 即--monitor，表示始终保持事件监听状态。
　　l -r， 即--recursive，表示递归查询目录。
　　l -q， 即--quiet，表示打印出监控事件。
　　l -e， 即--event，通过此参数可以指定要监控的事件，常见的事件有modify、delete、create、attrib等。
　　更详细的请参看man inotifywait。
　　
　　
　　实例测试：
　　root@zko-laptop:/home/zko/tools# echo "hello">>test/foo
　　root@zko-laptop:/home/zko/tools# cat test/foo
　　hello
　　root@zko-laptop:/home/zko/tools# inotifywait test/
　　inotifywait: error while loading shared libraries: libinotifytools.so.0: cannot open shared object file: No such file or directory
　　
　　报错!
　　解决方法：
　　root@zko-laptop:/home/zko/tools# find / -name libinotifytools.so.0  //寻找文件源
　　/home/zko/tools/inotify-tools-3.14/libinotifytools/src/.libs/libinotifytools.so.0
　　/usr/lib/libinotifytools.so.0
　　/usr/local/lib/libinotifytools.so.0
　　root@zko-laptop:/home/zko/tools#
　　cp /home/zko/tools/inotify-tools-3.14/libinotifytools/src/.libs/libinotifytools.so.0 /usr/local/lib/libinotifytools.so.0 //覆盖文件
　　root@zko-laptop:/home/zko/tools# inotifywait test/foo
　　Setting up watches.
　　Watches established.
　　成功！
　　六、 rsync+inotify企业应用案例
　　
　　客户端（192.168.1.103）：
　　root@zko-love:/home/zko# mkdir /var/www/001
　　root@zko-love:/home/zko# cd /var/www/001
　　root@zko-love:/var/www/001# ls
　　root@zko-love:/var/www/001# chmod 600 /var/www/001
　　root@zko-love:/var/www/001# vi /etc/rsyncd.conf
　　# sample rsyncd.conf configuration file
　　# GLOBAL OPTIONS
　　motd file=/etc/rsyncd.motd
　　log file=/var/log/rsyncd.log
　　transfer logging=yes
　　lock file=/var/run/rsync.lock
　　port=873
　　address=192.168.1.103
　　uid=0
　　gid=0
　　use chroot=no
　　read only=no
　　max connections=10
　　pid file=/var/run/rsyncd.pid
　　[web1]
　　comment=Web content
　　path=/var/www/001
　　auth users=tom
　　secrets file=/etc/rsyncd.pass
　　hosts allow=192.168.1.101
　　hosts deny=*
　　list=false
　　。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
　　root@zko-love:/var/www/001# echo "tom:pass">>/etc/rsyncd.pass  //密码文件
　　root@zko-love:/var/www/001# vi /etc/rsyncd.conf
　　root@zko-love:/var/www/001# cat /etc/rsyncd.pass
　　tom:pass
　　root@zko-love:/var/www/001# chmod 600  /etc/rsyncd.pass
　　root@zko-love:/var/www/001# rsync --daemon               //开启
　　root@zko-love:/var/www/001# ps -ef | grep rsync
　　root      3807     1  0 23:11 ?        00:00:00 rsync --daemon
　　root      3809  3460  0 23:11 pts/10   00:00:00 grep --color=auto rsync
　　
　　服务端（192.168.1.101）：
　　安装inotify-tools工具；
　　初始化密码文件：
　　root@zko-laptop:/home/zko/tools# echo "pass">>/etc/rsyncd.pass
　　root@zko-laptop:/home/zko/tools# cat /etc/rsyncd.pass
　　pass
　　服务端与客户端连接：
　　root@zko-laptop:/home/zko#
　　 /usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.pass /var/www/001 tom@192.168.1.103::web1
　　sending incremental file list
　　001/
　　sent 61 bytes  received 20 bytes  162.00 bytes/sec
　　total size is 0  speedup is 0.00
　　测试成功！