centos6 rsync+inotify 数据同步

jfgdf

一 前戏

#检测rsync是否已安装
rpm -qa rsync
#如未按装，执行yum安装
yum install -y rsync
#新建用户和目录并授权
useradd -M -s /sbin/nologin  rsync
mkdir /bakcup
chown -R rsync.rsync /bakcup/


二 服务端配置
#打开配置文件，填入以下内容
vi /etc/rsyncd.conf
===================================
#rsyncd.conf_______________start
#指定用户
uid = rsync
gid = rsync
#相当于黑洞 出错定位
use chroot = no
#有多少个客户端同时传文件
max connections = 200
#超时时间
timeout = 300
#进程号文件
pid file = /var/run/rsyncd.pid
#锁文件
lock file = /var/run/rsync.lock
#日志文件
log file = /var/log/rsyncd.log
#模块开始 这个模块对应的是推送目录 模块名称随便起
[backup]
#同步数据目录
path = /backup
#表示出现错误忽略错误
ignore errors
#表示网络权限可写(还需要本地文件权限配合)
read only = false
#这里设置IP或让不让同步
list = false
#指定允许的网段
hosts allow = 192.168.1.0/24
#拒绝链接的地址，一下表示没有拒绝的链接
hosts deny = 0.0.0.0/32
#虚拟用户
auth users = rsync_backup
#虚拟用户的密码文件
secrets file = /etc/rsync.password
#rsync_config_______________end
=================================================
#设置访问密码文件
echo "rsync_backup:younger" >/etc/rsync.password
#为密码文件设置安全权限
chmod 600 /etc/rsync.password
#启动守护进程模式
rsync --daemon
#添加开机自启动
echo 'rsync --daemon' >> /etc/rc.local


三 客户端配置
#检测rsync是否已安装
rpm -qa rsync
#如未按装，执行yum安装
yum install -y rsync
echo "younger" >/etc/rsync.password
#为密码文件设置安全权限
chmod 600 /etc/rsync.password
#添加EPRL源
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo
#安装
yum install inotify-tools -y
#编辑时时监控脚本
vi inotify.sh
===============================================
#!/bin/bash
host=192.168.1.160  #rsync服务端的ip地址
src=/data             #本地监控的目录
dst=backup            #rsync服务的模块名
user=rsync_backup     #rsync服务的虚拟用户
rsync_passfile=/etc/rsync.password   #本地调用rsync服务的密码文件
inotify_home=/usr/           #inotify的安装目录
if [ ! -e "$src" ] \
|| [ ! -e "${rsync_passfile}" ] \
|| [ ! -e "${inotify_home}/bin/inotifywait" ] \
|| [ ! -e "/usr/bin/rsync" ];
then
echo "Check File and Directory"
exit 9
fi
${inotify_home}/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e close_write,delete,create,attrib $src \
| while read file
do
#  rsync -avzP --delete --timeout=100 --password-file=${rsync_passfile} $src $user@$host::$dst >/dev/null 2>&1
cd $src && rsync -aruz -R --delete ./  --timeout=100 $user@$host::$dst --password-file=${rsync_passfile} >/dev/null 2>&1
done
exit 0
===================================================================================


四 测试
#后台执行时时监控脚本
sh inotify.sh &
#在本地/data目录新建文件
mkdir {1..99}
#在服务端/backup下查看同步状态
备注：如若不成功可能出现问题的地方
1 rsyncd.conf  没有d
2 rsync.password 权限非600
3 rsync.password 服务端保存用户名密码   
4 rsync.password 客户端只保存密码
5 目录的路径名称和允许的IP权限
6 防火墙
come on 努力吧


#网友优化每秒200个文件并发，数据同步几乎无延迟（待测）
[iyunv@nfs-server scripts]# echo "50000000" >/proc/sys/fs/inotify/max_user_watches
[iyunv@nfs-server scripts]# echo "50000000" >/proc/sys/fs/inotify/max_queued_events