rsync+inotify实现数据同步

231211

Linux内核从2.6.13开始，引入了inotify机制。通过intofity机制，能够对文件系统的变化进行监控，如对文件进行创建、删除、修改等操作，可以及时通知应用程序进行相关事件的处理。这种响应处理机制，避免了频繁的文件轮询任务，提高了任务的处理效率

1. 检查系统内核版本,查看是否支持inotify

1 2 3 4 5 6 7 8 9 10

[iyunv@peng scripts]# uname -r 2.6.32-642.6.2.el6.x86_64 [iyunv@peng scripts]# ls -lsart /proc/sys/fs/inotify/ 总用量 0 0 dr-xr-xr-x 0 root root 0 11月 17 16:36 .. 0 dr-xr-xr-x 0 root root 0 11月 17 19:44 . 0 -rw-r--r-- 1 root root 0 11月 17 19:44 max_user_watches 0 -rw-r--r-- 1 root root 0 11月 17 19:44 max_queued_events 0 -rw-r--r-- 1 root root 0 11月 18 05:15 max_user_instances # 如果出现以上提示，说明系统支持inotify机制

2. 下载安装inotify

1 2 3 4 5

wget -P /tmp tar -zvxf /tmp/inotify-tools-3.14.tar.gz -C /tmp cd /tmp/inotify-tools-3.14 ./configure --prefix=/usr/local/inotify make && make install

3. 查看inotify默认参数

1 2 3 4 5 6 7

[iyunv@peng scripts]# sysctl -a|grep fs.inotify fs.inotify.max_user_instances = 130                # 每个用户创建inotify实例最大值 fs.inotify.max_user_watches = 8192                 # 要知道同步的文件包含的目录数，必须保证该值大于需要同步目录里的数量，可以用find /home -type d |wc -l fs.inotify.max_queued_events = 16384               # inotify队列最大长度，如果值太小，会出现错误，导致监控文件不准确 fs.epoll.max_user_watches = 386007 # 如若需要修改可用以下命令修改 sysctl -w fs.inotify.max_user_instances=130

4. 创建实时监控脚本

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

vim /usr/local/inotify/inotify_start.sh #!/bin/bash /usr/local/inotify/bin/inotifywait -mrq -e modify,create,move,delete \   --fromfile '/usr/local/inotify/ffile' \   --timefmt '%y-%m-%d %H:%M' --format '%T %w%f %e' \   --outfile '/tmp/rsync.log' & vim /usr/local/inotify/ffile /home                                            # 值为监控的目录 参数说明： inotifywait常用参数：   --timefmt 时间格式   %y年 %m月 %d日 %H小时 %M分钟   --format 输出格式   %T时间 %w路径 %f文件名 %e状态   -m 始终保持监听状态，默认触发事件即退出。   -r 递归查询目录   -q 打印出监控事件   -e 定义监控的事件，可用参数：   open 打开文件   access 访问文件   modify 修改文件   delete 删除文件   create 新建文件   attrb  属性变更

5. 启动脚本

1 2 3

chmod a+x /usr/local/inotify/inotify_start.sh sh /usr/local/inotify/inotify_start.sh # 将此命令可加入到/etc/rc.local下实现开机启动

rsync同步

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42

#!/bin/bash src=/data/                           # 需要同步的源路径 des=data                             # 目标服务器上 rsync --daemon 发布的名称，rsync --daemon这里就不做介绍了，网上搜一下，比较简单。 rsync_passwd_file=/etc/rsyncd.passwd            # rsync验证的密码文件 ip1=192.168.0.18                 # 目标服务器1 ip2=192.168.0.19                 # 目标服务器2 user=root                            # rsync --daemon定义的验证用户名 cd ${src}                              # 此方法中，由于rsync同步的特性，这里必须要先cd到源目录，inotify再监听 ./ 才能rsync同步后目录结构一致，有兴趣的同学可以进行各种尝试观看其效果 /usr/local/inotify/bin/inotifywait -mrq --format  '%Xe %w%f' -e modify,create,delete,attrib,close_write,move ./ | while read file         # 把监控到有发生更改的"文件路径列表"循环 do         INO_EVENT=$(echo $file | awk '{print $1}')      # 把inotify输出切割 把事件类型部分赋值给INO_EVENT         INO_FILE=$(echo $file | awk '{print $2}')       # 把inotify输出切割 把文件路径部分赋值给INO_FILE         echo "-------------------------------$(date)------------------------------------"         echo $file         #增加、修改、写入完成、移动进事件         #增、改放在同一个判断，因为他们都肯定是针对文件的操作，即使是新建目录，要同步的也只是一个空目录，不会影响速度。         if [[ $INO_EVENT =~ 'CREATE' ]] || [[ $INO_EVENT =~ 'MODIFY' ]] || [[ $INO_EVENT =~ 'CLOSE_WRITE' ]] || [[ $INO_EVENT =~ 'MOVED_TO' ]]         # 判断事件类型         then                 echo 'CREATE or MODIFY or CLOSE_WRITE or MOVED_TO'                 rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&         # INO_FILE变量代表路径哦  -c校验文件内容                 rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}                  #仔细看 上面的rsync同步命令 源是用了$(dirname ${INO_FILE})变量 即每次只针对性的同步发生改变的文件的目录(只同步目标文件的方法在生产环境的某些极端环境下会漏文件 现在可以在不漏文件下也有不错的速度 做到平衡) 然后用-R参数把源的目录结构递归到目标后面 保证目录结构一致性         fi         #删除、移动出事件         if [[ $INO_EVENT =~ 'DELETE' ]] || [[ $INO_EVENT =~ 'MOVED_FROM' ]]         then                 echo 'DELETE or MOVED_FROM'                 rsync -avzR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&                 rsync -avzR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}                 #看rsync命令 如果直接同步已删除的路径${INO_FILE}会报no such or directory错误 所以这里同步的源是被删文件或目录的上一级路径，并加上--delete来删除目标上有而源中没有的文件，这里不能做到指定文件删除，如果删除的路径越靠近根，则同步的目录月多，同步删除的操作就越花时间。这里有更好方法的同学，欢迎交流。         fi         #修改属性事件 指 touch chgrp chmod chown等操作         if [[ $INO_EVENT =~ 'ATTRIB' ]]         then                 echo 'ATTRIB'                 if [ ! -d "$INO_FILE" ]                 # 如果修改属性的是目录 则不同步，因为同步目录会发生递归扫描，等此目录下的文件发生同步时，rsync会顺带更新此目录。                 then                         rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&                                     rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}                 fi         fi done

wx_jU5BhyHG

正好需要！！！！