MooseFS分布式文件系统+keepalived高可用+unison和intoify实时双机器同步（二）

321gf

2.1、部署环境及思路2.1.1、环境192.168.1.237  keepalived （MASTER）  mfsmaster   mfscgiserv
192.168.1.236  keepalived （Slave）      mfschuckserver  mfsclient
192.168.1.239  虚拟VIP
2.1.2、原理

• mfsmaster的故障恢复在1.6.5版本后可以由mfsmetalogger产生的日志文件 changelog.*.mfs和metadata.mfs.back由命令mfsmetarestore恢复，在1.7版本后命令mfsmetarestore不可用，改为mfsmaster –a
  
• 192.168.1.237 keepalivedmaster 定时运行检测 mfsmaster 进程的脚本check_master.sh，（如果有必要，定时从mfsmaster 获取 metadata.mfs.back 做备份文件用于master恢复）
  
• 如果检测到 mfsmaster 故障的时候，192.168.1.237  keepalived会将虚拟IP漂移到备机。
  
• 192.168.1.236keepalived 自动绑定从主机上漂移过来的虚拟IP，同时状态从backup转换为master 并触发脚本notify_master事件，执行恢复并启动keepalived_notify.sh脚本，（根据条件判断）此时备机变为管理服务器
  
• 整个切换在2~10秒内完成根据检测时间间隔
  
• 当元管理服务器mfsmaster恢复后，192.168.1.236 keepalived 状态从master转到backup　并触发 notify_backup事件执行恢复并启动keepalived_notify.sh（根据条件判断）脚本，此时由管理服务器恢复为备机，同时192.168.1.236自动关闭mfsmaster服务。
  
• 、keepalived安装配置
  

Keepalived安装：版本为1.2.7
./configure--prefix=/usr/local/keepalived
make&&make  install
keeplived配置

在主机mfsmaster 192.168.1.237上的keeplived配置：

vim/usr/local/keepalived/etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {

  notification_email {

    acassen@firewall.loc

    failover@firewall.loc

    sysadmin@firewall.loc

   }

   notification_email_fromAlexandre.Cassen@firewall.loc
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_scriptcheck_run {
   script "/usr/local/mfs/check_master.sh"
   interval 2
}
vrrp_sync_groupVG1 {
    group {
          VI_1
    }
}
vrrp_instanceVI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
track_script{
       check_run
    }
    virtual_ipaddress {
        192.168.1.239
       # 192.168.200.17
       # 192.168.200.18
    }
}

#配置说明：interval 2配置项，KEEPALIVED MASTER 每2秒检测一次 mfsmaster状态

接下我们编辑vim /usr/local/mfs/check_master.sh脚本。编辑完赋权755
#!/bin/bash
MFS_HOME=/usr/local/mfs
#$MFS_HOME/sbin/mfsmasterstart
ps-ef|grep mfsmaster|grep -v 'grep'
RETVAL=$?
if[ $RETVAL -eq 0 ];then
      exit 0
   else
      exit 1
fi
在备机mfsmaster 192.168.1.236上的keeplived配置：
vim/usr/local/keepalived/etc/keepalived/keepalived.conf
!Configuration File for keepalived

global_defs{
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_fromAlexandre.Cassen@firewall.loc
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_sync_groupVG1 {
    group {
          VI_1
}
notify_master"/usr/local/mfs/keepalived_notify.sh master"
notify_backup"/usr/local/mfs/keepalived_notify.sh backup"

}

vrrp_instanceVI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 51
    priority 80
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.1.239
        #192.168.200.17
        #192.168.200.18
    }
}
需要注意的是主备机上priority优先级不能设置为一样的。
接下我们编辑vim/usr/local/mfs/keepalived_notify.sh脚本,记得赋权755
  #!/bin/bash
MFS_HOME=/usr/local/mfs
MFSMARSTER=${MFS_HOME}/sbin/mfsmaster
MFSMETARESTORE=${MFS_HOME}/sbin/mfsmetarestore
MFS_DATA_PATH=${MFS_HOME}/var/mfs

functionbackup2master(){
$MFSMARSTERstart
}
functionmaster2backup(){
$MFSMARSTERstop
}
functionERROR(){
echo"usage: keepalived_notify.sh master|backup "
}
case$1 in
        master)
        backup2master
        ;;
        backup)
        master2backup
        ;;
        *)
        ERROR
        ;;
esac     
2.3、keepalived开机自启1.  建立服务启动脚本，以便使用service命令控制之
cp/usr/local/keepalived/etc/rc.d/init.d/keepalived   /etc/init.d/keepalived
chmod+x  /etc/init.d/keepalived
2.修改/etc/init.d/keepalived,寻找大约15行左右的. /etc/sysconfig/keepalived, 修改为：
. /usr/local/keepalived/etc/sysconfig/keepalived, 即指向正确的文件位置
同时在上述行下添加以下内容（将keepavlied主程序所在路径导入到环境变量PATH中）：
PATH="$PATH:/usr/local/keepalived/sbin"
exportPATH
3.修改/usr/local/keepalived/etc/sysconfig/keepalived文件，设置正确的服务启动参数
KEEPALIVED_OPTIONS="-D-f /usr/local/keepalived/etc/keepalived/keepalived.conf"
4.经过以上修改，keepalived基本安装即可完成，启动测试之：
servicekeepalived restart
5.切勿忘记将此服务设置为开机启动
chkconfigkeepalived on
2.4、故障切换测试1，挂接客户端，注意一定要挂接虚拟IP地址192.168.1.239。
rz或者touch文件
2，关闭192.168.1.237上的mfsmaster，观察192.168.1.236是否已经启动了mfsmaster，查看
/var/log/messages,同时观察mfsclient文件读写，删除，上传是否正常。
3，恢复启动192.168.1.237上的mfsmaster，观察192.168.1.236是否已经关闭了mfsmaster，查看/var/log/messages,同时观察mfsclient文件是否正常。来回切换后，mfsclient正常。说明moosefs+keeplived实现高可用。
注意事项：
一、对于/usr/local/mfs/sbin/mfscgiserv这个服务，因为只在192.168.1.237上启动了该服务，在主备切换完成后，是不能访问的，所以建议把192.168.1.236上的mfscgiserv也启动，这样弄，只不过后面同步的时候会跳过mfscgiserv的.lock文件,没有多大影响，那么我们访问的时候输入虚拟IP就可以管理了。http://192.168.1.239:9425

经过测试，发现以下问题：

1，              因为metalogger服务器存在数据丢失的问题，现在最好的解决方法就是把主备机做成镜像服务器，备机不依靠上述提到的用metalogger的方式启动，metalogger另外单独选择一台服务器做备份或者不用metalogger,单独备份mfsmaster下的数据路径数据。那么最终就是主备机做双向同步才能保证数据不丢失。双向同步工具我们选择unison!