CENTOS6.3利用Keepalived构建双主MySQL+双机热备

bestu

　　CENTOS6.3利用Keepalived构建双主MySQL+双机热备
　　showerlee 2013-08-28 01:15 MYSQL, 负载均衡 阅读 (582) 1条评论
　　之前的博文介绍了如何配置MYSQL双主互备.
　　见http://www.showerlee.com/archives/698
　　这里介绍如何配合前者实现Keepalived双机热备
　　系统环境：CentOS 6.3 x64
　　MySQL版本：mysql-5.6.10
　　Keepalived版本：keepalived-1.2.7
　　MySQL-VIP：192.168.7.253
　　MySQL-master1：192.168.7.201
　　MySQL-master2：192.168.7.249
　　首先关闭iptables和SELINUX
　　# service iptables stop
　　# setenforce 0
　　# vi /etc/sysconfig/selinux
　　---------------
　　SELINUX=disabled
　　---------------
　　注: 若线上需要开启iptables,需加一条规则使keepalived的vrrp通行
　　# iptables -A INPUT -p vrrp -j ACCEPT
　　1.在MySQL-master1：192.168.7.201服务器上keepalived安装及配置
　　编译安装，实际以本机kernel版本为准
　　# wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz
　　# tar zxvf keepalived-1.2.7.tar.gz
　　# cd keepalived-1.2.7
　　# ./configure --prefix=/usr/local/keepalived --with-kernel-dir=/usr/src/kernels/2.6.32-279.el6.x86_64
　　# make && make install
　　设置keepalived开机启动脚本
　　# cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
　　# cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
　　# cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
　　# chkconfig keepalived on
　　新建一个配置文件，默认keepalived启动会去/etc/keepalived目录下寻找配置文件
　　# mkdir /etc/keepalived
　　# vi /etc/keepalived/keepalived.conf
　　------------------
　　global_defs {
　　notification_email {
　　lzyangel@126.com
　　}
　　#当主、备份设备发生改变时，通过邮件通知
　　notification_email_from lzyangel@126.com
　　smtp_server stmp.126.com
　　smtp_connect_timeout 30
　　router_id MySQL-ha
　　}
　　vrrp_instance VI_1{
　　# 在初始化状态下定义为主设备
　　state BACKUP
　　# 注意网卡接口
　　interface eth0
　　virtual_router_id 51
　　# 优先级，另一台改为90
　　priority 100
　　advert_int 1
　　# 不主动抢占资源
　　nopreempt
　　authentication {
　　# 认证方式，可以是PASS或AH两种认证方式
　　auth_type PASS
　　# 认证密码
　　auth_pass 1111
　　}
　　virtual_ipaddress {
　　# 虚拟IP地址，随着state的变化而增加删除
　　192.168.7.253
　　}
　　}
　　virtual_server 192.168.7.253 3306 {
　　# 每个2秒检查一次real_server状态
　　delay_loop 2
　　# LVS算法
　　lb_algo wrr
　　# LVS模式
　　lb_kind DR
　　# 会话保持时间
　　persistence_timeout 60
　　protocol TCP
　　real_server 192.168.7.201 3306 {
　　# 权重
　　weight 3
　　# 检测到服务down后执行的脚本
　　notify_down /etc/rc.d/keepalived.sh
　　TCP_CHECK {
　　# 连接超时时间
　　connect_timeout 10
　　# 重连次数
　　nb_get_retry 3
　　# 重连间隔时间
　　delay_before_retry 3
　　# 健康检查端口
　　connect_port 3306
　　}
　　}
　　}
　　----------------------
　　编写检测服务down后所要执行的脚本
　　# vi /etc/rc.d/keepalived.sh
　　-------------
　　#!/bin/sh
　　/etc/init.d/keepalived stop
　　-------------
　　# chmod +x /etc/rc.d/keepalived.sh
　　注：此脚本是上面配置文件notify_down选项所用到的，keepalived使用notify_down选项来检查real_server的服务状态。
　　当发现real_server服务故障时，便触发此脚本.
　　我们可以看到，脚本就一个命令:
　　通过pkill keepalived强制杀死keepalived进程，从而实现了MySQL故障自动转移.
　　另外，我们不用担心两个MySQL会同时提供数据更新操作，因为每台MySQL上的keepalived的配置里面只有本机MySQL的IP+VIP，而不是两台MySQL的IP+VIP.
　　以上脚本是为了在测试环境实现VIP切换功能，生产环境建议使用如下脚本
　　---------------------------------
　　#!/bin/bash
　　# 环境变量
　　PATH=/bin:/usr/bin:/sbin:/usr/sbin; export PATH
　　# 暂停5秒执行，防止数据库人工正常重启
　　sleep 5
　　# mysql_id(存活=1 死掉=0)
　　mysql_id=`ps -C mysqld --noheader |wc -l`
　　# 判断mysql_id若死掉，则重启mysql一次，若仍然无法启动mysql则杀掉keepaliaved进程实现VIP切换
　　if [ $mysql_id -eq 0 ];then
　　/etc/init.d/mysqld restart
　　sleep 5
　　if [ $mysql_id -eq 0 ];then
　　/etc/init.d/keepalived stop
　　fi
　　fi
　　---------------------------------
　　启动keepalived
　　# /etc/init.d/keepalived start
　　查看连接状态
　　# ps -aux | grep keepalived
　　返回：
　　---------------
　　root 1387 1 0 21:13 ? 00:00:00 keepalived -D
　　root 1390 1387 0 21:13 ? 00:00:00 keepalived -D
　　root 1391 1387 0 21:13 ? 00:00:00 keepalived -D
　　root 1976 1911 0 21:16 pts/0 00:00:00 grep keepalived
　　--------------------
　　测试
　　查看VIP信息
　　# ip addr
　　--------------------------
　　............
　　inet 192.168.7.201/24 brd 192.168.7.255 scope global eth0
　　inet 192.168.7.253/32 scope global eth0
　　inet6 fe80::20c:29ff:feb2:9199/64 scope link
　　valid_lft forever preferred_lft forever
　　--------------------------
　　注:如果出现主从在切换VIP时，主的VIP未自动关闭，从的正常开启，导致都获取到VIP，造成互相冲突的情况，可手动输入如下命令删除一方的VIP地址
　　# ip addr del "虚拟ip" dev eth0
　　但此方法只是一个临时的解决方案，当手动删除VIP后，重启keepalived服务会无法正常开启vip，需要重启服务器方能恢复。
　　查看vrrp通信
　　# tcpdump vrrp
　　-------------------------
　　.....
　　18:10:56.365730 IP 192.168.7.201 > vrrp.mcast.net: VRRPv2, Advertisement, vrid 52, prio 40, authtype simple, intvl 1s, length 20
　　18:10:57.366825 IP 192.168.7.201 > vrrp.mcast.net: VRRPv2, Advertisement, vrid 52, prio 40, authtype simple, intvl 1s, length 20
　　18:10:58.367914 IP 192.168.7.201 > vrrp.mcast.net: VRRPv2, Advertisement, vrid 52, prio 40, authtype simple, intvl 1s, length 20
　　-------------------------
　　注:如果主keepalived挂掉，这里的日志会切换到备keeplived的信息
　　找一台局域网PC，然后去ping MySQL的VIP，这时候MySQL的VIP是可以ping的通的
　　停止MySQL服务，看keepalived健康检查程序是否会触发我们编写的脚本,去kill掉keepalived进程
　　# service mysqld stop
　　# ps -aux | grep keepalived
　　无返回结果
　　2.在MySQL-master2：192.168.7.249服务器上keepalived安装及配置
　　编译安装，实际以本机kernel版本为准
　　# wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz
　　# tar zxvf keepalived-1.2.7.tar.gz
　　# cd keepalived-1.2.7
　　# ./configure --prefix=/usr/local/keepalived --with-kernel-dir=/usr/src/kernels/2.6.32-279.el6.x86_64
　　# make && make install
　　设置keepalived开机启动脚本
　　# cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
　　# cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
　　# cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
　　# chkconfig keepalived on
　　新建一个配置文件，默认keepalived启动会去/etc/keepalived目录下寻找配置文件
　　# mkdir /etc/keepalived
　　# vi /etc/keepalived/keepalived.conf
　　------------------
　　global_defs {
　　notification_email {
　　lzyangel@126.com
　　}
　　notification_email_from lzyangel@126.com
　　smtp_server stmp.126.com
　　smtp_connect_timeout 30
　　router_id MySQL-ha
　　}
　　vrrp_instance VI_1{
　　# 两台配置此处均是BACKUP
　　state BACKUP
　　# 注意网卡接口
　　interface eth0
　　virtual_router_id 51
　　# 优先级，另一台改为100
　　priority 90
　　advert_int 1
　　# 不主动抢占资源
　　nopreempt
　　authentication {
　　auth_type PASS
　　auth_pass 1111
　　}
　　virtual_ipaddress {
　　192.168.7.253
　　}
　　}
　　virtual_server 192.168.7.253 3306 {
　　# 每个2秒检查一次real_server状态
　　delay_loop 2
　　# LVS算法
　　lb_algo wrr
　　# LVS模式
　　lb_kind DR
　　# 会话保持时间
　　persistence_timeout 60
　　protocol TCP
　　real_server 192.168.7.249 3306 {
　　weight 3
　　# 检测到服务down后执行的脚本
　　notify_down /etc/rc.d/keepalived.sh
　　TCP_CHECK {
　　# 连接超时时间
　　connect_timeout 10
　　# 重连次数
　　nb_get_retry 3
　　# 重连间隔时间
　　delay_before_retry 3
　　# 健康检查端口
　　connect_port 3306
　　}
　　}
　　}
　　----------------------
　　编写检测服务down后所要执行的脚本
　　# vi /etc/rc.d/keepalived.sh
　　-------------
　　#!/bin/sh
　　/etc/init.d/keepalived stop
　　-------------
　　# chmod +x /etc/rc.d/keepalived.sh
　　启动keepalived
　　# /etc/init.d/keepalived start
　　查看连接状态
　　# ps -aux | grep keepalived
　　返回：
　　---------------
　　root 1387 1 0 21:13 ? 00:00:00 keepalived -D
　　root 1390 1387 0 21:13 ? 00:00:00 keepalived -D
　　root 1391 1387 0 21:13 ? 00:00:00 keepalived -D
　　root 1976 1911 0 21:16 pts/0 00:00:00 grep keepalived
　　--------------------
　　至此配置完成，网站后台只需要配置MySQL-VIP：192.168.7.253虚拟地址即可
　　这里实际连接的master数据库，以哪台master先开mysql服务为准。
　　当master1：192.168.7.201 mysql端口挡掉或者服务器异常关闭，keepalived会自动跳转到master2：192.168.7.249.
　　因为两台数据库的数据时同步的,用户访问的是MySQL-VIP：192.168.7.253虚拟地址，所以网站数据连接会无缝透明转接到master2服务
　　器，实现双机热备+数据同步功能。保证网站数据库的实时可用性。
　　注：当某一台master服务器挂掉恢复后，需同时打开MYSQL服务和keepalived服务，保证另一台服务器如果挂掉会无缝转接。
　　所以建议mysql与keeplived设置服务开机启动。
　　# chkconfig mysqld on
　　# chkconfig keepalived on
　　----------大功告成------------