企业数据备份-rsync+shell编程-实现增量备份

gdx

今天看下公司的数据备份，每天更新的数据量非常大,备份为异地备份，也就是说，所有的数据要传到另外一台服务器．所以研究出以下备份策略及备份脚本，希望对读者有些帮助．以下为实现方式：　　软件及策略说明：
　　软件：软件使用rsync
　　策略：网站程序为增量备份，第一次整体同步后，后期备份时，将会比对每一个文件，将有差异的文件进行备份．从而不会丢下任何一个文件．rsync比对文件效率非常高，而且边比对边传输文件．
　　具体实现如下：
　　真实服务器A ：192.168.0.2      (实际操作换上真实服务器IP )
　　备份服务器B ：192.168.0.3      (实际操作换上真实服务器IP)
　　一，以下为在真实服务器上A 上的操作
　　真实服务器A 为nginx +php-cgi+mysql 模式
　　nginx 安装目录为/usr/local/nginx/  所有的配置文件为一个虚拟主机一个配置文件，并在 /usr/local/nginx/conf/vhost/下．
　　php安装目录为/usr/local/php
　　mysql 安装路径为/usr/local/mysql
　　数据库文件在/data/mysql下
　　所有的数据全部储存在/data下
　　目录解释：
　　/data/db  :为每日将所有数据库文件打包存放的地方，打包文件格式为：服务器名.日期.tar
　　/data/dbcache : 为备份数据库文件时的临时目录
　　/data/nginxconf：为服务器所有nginx配置文件备份存放位置，因为每天架站，删除站比较多，所以这个也需要备份
　　/data/script: 为常用脚本存放位置
　　/data/web  :  为所有网站程序所放置位置
　　二．
　　(1) :在script目录下创建dbback.sh脚本文件
　　脚本内容为：
　　#! /bin/bash
　　ls /data0/web/html/web/ > /data0/script/yuming
　　for i in `cat /data0/script/yuming`
　　do
　　cat /data0/web/html/web/$i/htdocs/app/etc/local.xml | grep dbname | awk -F ']]' '{print $1}'  | awk -F '[' '{print $3}' >>/data0/script/dbname
　　done
　　for db in `cat /data0/script/dbname`
　　do
　　/usr/local/mysql/bin/mysqldump -p'E2Vj2LQVvS.rG76U' $db > /data/dbcache/$db.sql
　　done
　　rm -rf /data0/script/yuming
　　rm -rf /data0/script/dbname
　　cd /data/dbcache/
　　tar -cf 146.0.74.8.`date +"%Y%m%d"`.tar *
　　find /data/db -mtime +7 -exec rm -rf {} \;
　　mv *.tar /data/db/
　　rm -rf /data/dbcache/*
　　/usr/bin/rsync -auv --progress --delete --password-file=/etc/rsyncd.secrets ./ root@192.168.0.3::backup
　　下面进行解释：
　　#! /bin/bash
　　ls /data/web/ > /data/script/yuming  //將站域名导入yuming
　　for i in `cat /data/script/yuming`   //把yuming定义为一个变量
　　do
　　cat /data/web/$i/htdocs/app/etc/local.xml | grep dbname | awk -F ']]' '{print $1}'  | awk -F '[' '{print $3}' >>/data/script/dbname    //提取数据库名并打入dbname（这个要视你网站的程序而定这里是magento程序）
　　done
　　for db in `cat /data/script/dbname`  //把dbname定义为一个变量
　　do
　　/usr/local/mysql/bin/mysqldump -p'密码' $db > /data/dbcache/$db.sql  //用mysqldump导出数据库
　　done
　　rm -rf /data/script/yuming     //删除yuming
　　rm -rf /data/script/dbname     //删除dbname
　　cd /data/dbcache/
　　tar -cf 服务器IP.`date +"%Y%m%d"`.tar *    //打包所有拷贝过来的数据库文件
　　find /data/db -mtime +7 -exec rm -rf {} \; //删除/data/db 下7天以前的数据库打包文件
　　mv *.tar /data/db/                       //将刚刚打包好的数据库文件移到/data/db
　　rm -rf /data/dbcache/*                   //删除复制过来的库
　　/usr/bin/rsync -auv --progress --delete --password-file=/etc/rsyncd.secrets ./ root@备份服务器::备份服务器上的对应模块>/dev/null 2>&1  //将/data下的所有数据利用rsync 工具传输到备份服务器　本案例为192.168.0.3上的对应模块
　　注：备份服务器上的模块将在下面进行讲解备份服务器配置时进行解释
　　(2):制定计划任务．让此脚本每天定时运行一次
　　例如：
　　00 00 * * * sh /data/script/dbback.sh
　　三，在备份服务器上添加rsync备份模板
　　在/etc/下创建rsyncd.conf配置文件，文件本身没有，需创建
　　vim /etc/rsyncd.conf
　　输入以下内容
　　uid=root
　　gid=root
　　max connections=36000
　　use chroot=0
　　log file=/var/log/rsyncd.log
　　pid file=/var/run/rsyncd.pid
　　lock file=/var/run/rsyncd.lock
　　[模块名]             #此模块名为以上两个脚本中使用的名
　　path=/backup　　　　 #备份数据存放目录
　　comment = mydata backup　　　   #备注说明
　　ignore errors = yes
　　read only=no
　　hosts allow = 192.168.0.2　　　　#只允许此IP进行备份
　　hosts deny =*
　　注：  模块名为以上两个脚本中使用的模块名，例如以上模块名为　［backup］
　　如下：
　　uid=root
　　gid=root
　　max connections=36000
　　use chroot=0
　　log file=/var/log/rsyncd.log
　　pid file=/var/run/rsyncd.pid
　　lock file=/var/run/rsyncd.lock
　　[backup]
　　path=/backup
　　comment = mydata backup
　　ignore errors = yes
　　read only=no
　　hosts allow = 192.168.0.2
　　hosts deny =*
　　保存文件并启动rsync 服务
　　rsync --daemon -config=/etc/rsyncd.conf
　　192.168.0.3上面需要配置的内容
　　vim /etc/rsyncd.secrets
　　192.168.0.3的密码
　　测试
　　/usr/bin/rsync -auv --progress --delete --password-file=/etc/rsyncd.secrets ./ root@192.168.0.3::backup
　　至此，所有的操作即已完成．