通过lvs+heartbeat实现对mysql的负载均衡高可用

jiang1799

　　1、摘要
　　本文主要通过lvs+heartbeat实现对mysql的负载均衡高可用。
　　keepalived是基于主机或网络服务的高可用方式，目的是用户service的双机。
　　

　　2、安装
　　1）、软件包准备
　　ipvsadm-1.26.tar.gz
　　mysql-5.5.28.tar.gz
　　cmake-2.8.11.2.tar.gz
　　heartbeat-2.0.8.tar.gz
　　libnet-1.1.2.1.tar.gz
　　

　　2)、配置Director Server
　　a、检查kernel是否已经支持LVS的ipvs模块
　　# modprobe -l |grep ipvs
　　kernel/net/netfilter/ipvs/ip_vs.ko
　　kernel/net/netfilter/ipvs/ip_vs_rr.ko
　　kernel/net/netfilter/ipvs/ip_vs_wrr.ko
　　kernel/net/netfilter/ipvs/ip_vs_lc.ko
　　kernel/net/netfilter/ipvs/ip_vs_wlc.ko
　　kernel/net/netfilter/ipvs/ip_vs_lblc.ko
　　kernel/net/netfilter/ipvs/ip_vs_lblcr.ko
　　kernel/net/netfilter/ipvs/ip_vs_dh.ko
　　kernel/net/netfilter/ipvs/ip_vs_sh.ko
　　kernel/net/netfilter/ipvs/ip_vs_sed.ko
　　kernel/net/netfilter/ipvs/ip_vs_nq.ko
　　kernel/net/netfilter/ipvs/ip_vs_ftp.ko
　　kernel/net/netfilter/ipvs/ip_vs_pe_sip.ko
　　

　　b、在Director Server中安装LVS
　　# ln -s /usr/src/kernels/2.6.32-431.el6.x86_64/ /usr/src/linux#解决ipvsadm找不到内核
　　# yum install -y libnl*
　　# yum install -y popt*
　　# rpm -ivh popt-static-1.13-7.el6.x86_64.rpm#前三步是解决安装ipvsadm-1.26报错的软件包
　　# tar zxvf ipvsadm-1.26.tar.gz
　　# cd ipvsadm-1.26
　　# make
　　# make install
　　# ipvsadm --help#出现ipvsadm帮助提示表示ipvsadm已经安装成功
　　

　　c、在Director Server中配置VIP，route、路由转发等
　　vim /etc/init.d/lvsDR
　　#!/bin/sh
　　# description: Start LVS of Director server
　　VIP=10.0.2.200
　　chmod 755 /etc/rc.d/init.d/functions
　　/etc/rc.d/init.d/functions
　　case "$1" in
　　    start)
　　# set the Virtual IP Address and sysctl parameter
　　/sbin/ifconfig eth0:0 $VIP broadcast $VIP netmask 255.255.255.255 up
　　/sbin/route add -host $VIP dev eth0:0
　　echo "1" >/proc/sys/net/ipv4/ip_forward
　　;;
　　    stop)
　　        echo "0" >/proc/sys/net/ipv4/ip_forward
　　/sbin/route del -host $VIP dev eth0:0
　　        /sbin/ifconfig eth0:0 down
　　        ;;
　　    *)
　　        echo "Usage: $0 {start|stop}"
　　        exit 1
　　esac
　　# chmod 755 /etc/init.d/lvsDR
　　# /etc/init.d/lvsDR start
　　

　　d、在Director Server中安装heartbeat
　　# tar zxvf libnet-1.1.2.1.tar.gz
　　# cd libnet
　　# ./configure
　　# make && make install
　　# yum install -y libxml2 libxml2-devel bzip2-devel glib2-devel libtool-ltdl-devel libxslt-devel ncurses-devel swig
　　# groupadd -g 694 haclient
　　# useradd -u 694 -g haclient hacluster
　　# tar zxvf heartbeat-2.0.8.tar.gz
　　# cd heartbeat-2.0.8
　　# ./ConfigureMe configure --enable-fatal-warnings=no --disable-swig --disable-snmp-subagent LIBS='/lib/libuuid.so.1' #如果是64为则为LIBS='/lib64/libuuid.so.1'
　　# make
　　# make install
　　# cp doc/ha.cf doc/haresources doc/authkeys /etc/ha.d/
　　# cp ldirectord/ldirectord.cf /etc/ha.d/
　　# 在编辑安装heartbeat过程中可能出现如下错误
　　错误1：
　　pils.c:245: warning: initialization from incompatible pointer type
　　pils.c:246: warning: initialization from incompatible pointer type
　　gmake[2]: *** [pils.lo] Error 1
　　gmake[2]: Leaving directory `/usr/local/src/heartbeat-2.0.4/lib/pils'
　　gmake[1]: *** [all-recursive] Error 1
　　gmake[1]: Leaving directory `/usr/local/src/heartbeat-2.0.4/lib'
　　make: *** [all-recursive] Error 1
　　参考README里的方法：gmake DESTDIR="$PWD/heartbeat-2.0.4/=inst" distcheck后出现下面的错误
　　PIC -o .libs/pils.o
　　../../../lib/pils/pils.c:245: warning: initialization from incompatible pointer type
　　../../../lib/pils/pils.c:246: warning: initialization from incompatible pointer type
　　gmake[3]: *** [pils.lo] Error 1
　　gmake[3]: Leaving directory `/usr/local/src/heartbeat-2.0.4/heartbeat-2.0.4/_build/lib/pils'
　　gmake[2]: *** [all-recursive] Error 1
　　gmake[2]: Leaving directory `/usr/local/src/heartbeat-2.0.4/heartbeat-2.0.4/_build/lib'
　　gmake[1]: *** [all-recursive] Error 1
　　gmake[1]: Leaving directory `/usr/local/src/heartbeat-2.0.4/heartbeat-2.0.4/_build'
　　gmake: *** [distcheck] Error 2
　　解决办法：
　　./ConfigureMe configure --enable-fatal-warnings=no
　　./ConfigureMe make --enable-fatal-warnings=no
　　用这种方法能编译了
　　

　　错误2：
　　cc1: warningsbeing treated as errors
　　pils.c:245:error: initialization fromincompatible pointer type
　　pils.c:246:error: initialization fromincompatible pointer type
　　gmake[2]: ***[pils.lo] Error 1
　　gmake[2]:Leaving directory`/root/heartbeat-2.0.7/lib/pils'
　　gmake[1]: ***[all-recursive]Error 1
　　gmake[1]:Leaving directory`/root/heartbeat-2.0.7/lib'
　　make: ***[all-recursive] Error 1
　　解决方法将/root/heartbeat-2.0.7/lib/pils里的makefile中的所有-Werror删除
　　

　　错误3：
　　cc1: warningsbeing treated as errors
　　client_lib.c:1850:error: 'display_orderQ'defined but not used
　　gmake[2]: ***[client_lib.lo]Error 1
　　gmake[2]:Leaving directory`/root/heartbeat-2.0.7/lib/hbclient'
　　gmake[1]: ***[all-recursive]Error 1
　　gmake[1]:Leaving directory`/root/heartbeat-2.0.7/lib'
　　make: ***[all-recursive] Error 1
　　解决方法将/root/heartbeat-2.0.7/lib/hbclient里的makefile中的所有-Werror删除
　　

　　

　　错误4：
　　cc1: warningsbeing treated as errors
　　stonith_signal.h:34:error:'stonith_signal_set_simple_handler' defined but not used
　　gmake[4]: ***[apcmaster.lo]Error 1
　　gmake[4]:Leaving directory`/root/heartbeat-2.0.7/lib/plugins/stonith'
　　gmake[3]: ***[all-recursive]Error 1
　　gmake[3]:Leaving directory`/root/heartbeat-2.0.7/lib/plugins/stonith'
　　gmake[2]: ***[all-recursive]Error 1
　　gmake[2]:Leaving directory`/root/heartbeat-2.0.7/lib/plugins'
　　gmake[1]: ***[all-recursive]Error 1
　　gmake[1]:Leaving directory`/root/heartbeat-2.0.7/lib'
　　make: ***[all-recursive] Error 1
　　解决方法：
　　将/root/heartbeat-2.0.7/lib/plugins/stonith里的makefile中的所有-Werror删除
　　

　　错误5：
　　cc1: warningsbeing treated as errors
　　conf_lex.c:1195:Error：‘input’定义后未使用
　　gmake[2]: ***[recoverymgrd-conf_lex.o]Error 1
　　gmake[2]:Leaving directory`/root/heartbeat-2.0.7/telecom/recoverymgrd'
　　gmake[1]: ***[all-recursive]Error 1
　　gmake[1]:Leaving directory `/root/heartbeat-2.0.7/telecom'
　　make: ***[all-recursive] Error 1
　　解决方法：
　　将/root/heartbeat-2.0.7/telecom/recoverymgrd里的makefile中的所有-Werror删除
　　

　　安装成功标志信息：
　　结束后出现
　　chown hacluster/var/lib/heartbeat/cores/hacluster
　　chmod700/var/lib/heartbeat/cores/hacluster
　　gmake[2]:Nothing to be done for`install-data-am'.
　　gmake[2]:Leaving directory`/root/heartbeat-2.0.7'
　　gmake[1]:Leaving directory`/root/heartbeat-2.0.7'
　　则证明安装成功
　　

　　e、在Director Server中配置heartbeat
　　# vim /etc/sysconfig/network-scripts/ifcfg-eth1
　　DEVICE=eth1
　　TYPE=Ethernet
　　BOOTPROTO=none
　　IPADDR=10.1.1.1
　　PREFIX=24
　　# service network restart
　　

　　# 配置主配置文件
　　# mv /etc/ha.d/ha.cf /etc/ha.d/ha.cf.bak
　　# vim /etc/ha.d/ha.cf
　　debugfile /var/log/ha-debug
　　logfile /var/log/ha-log#指名heartbeat的日志存放位置
　　#crm yes#是否开启Cluster Resource Manager（集群资源管理）功能。
　　bcast eth1#指明心跳使用以太网广播方式，并且是在eth1接口上进行广播。
　　keepalive 2#指定心跳间隔时间为2秒（即每两秒钟在eth1上发送一次广播）。
　　deadtime 30#指定备用节点在30秒内没有收到主节点的心跳信号后，则立即接管主节点的服务资源。
　　warntime 10#指定心跳延迟的时间为十秒。当10秒钟内备份节点不能接收到主节点的心跳信号时，就会往日志中写入一个警告日志，但此时不会切换服务。
　　initdead 120#在某些系统上，系统启动或重启之后需要经过一段时间网络才能正常工作，该选项用于解决这种情况产生的时间间隔。取值至少为deadtime的两倍。
　　udpport 694#设置广播通信使用的端口，694为默认使用的端口号。
　　baud 19200#设置串行通信的波特率。
　　serial /dev/ttyS0#选择串行通信设备，用于双机使用串口线连接的情况。如果双机使用以太网连接，则应该关闭该选项。
　　#ucast eth0 192.168.1.2#采用网卡eth0的udp单播来组织心跳，后面跟的IP地址应为双机对方的IP地址。
　　#mcast eth0 225.0.0.1 694 1 0#采用网卡eth0的Udp多播来组织心跳，一般在备用节点不止一台时使用。Bcast、ucast和mcast分别代表广播、单播和多播，是组织心跳的三种方式，任选其一即可。
　　auto_failback on#用来定义当主节点恢复后，是否将服务自动切回，heartbeat的两台主机分别为主节点和备份节点。主节点在正常情况下占用资源并运行所有的服务，遇到故障时把资源交给备份节点并由备份节点运行服务。在该选项设为on的情况下，一旦主节点恢复运行，则自动获取资源并取代备份节点，如果该选项设置为off，那么当主节点恢复后，将变为备份节点，而原来的备份节点成为主节点。
　　#stonith baytech /etc/ha.d/conf/stonith.baytech# stonith的主要作用是使出现问题的节点从集群环境中脱离，进而释放集群资源，避免两个节点争用一个资源的情形发生。保证共享数据的安全性和完整性。   
　　#watchdog /dev/watchdog#该选项是可选配置，是通过Heartbeat来监控系统的运行状态。使用该特性，需要在内核中载入"softdog"内核模块，用来生成实际的设备文件，如果系统中没有这个内核模块，就需要指定此模块，重新编译内核。编译完成输入"insmod softdog"加载该模块。然后输入"grep misc /proc/devices"(应为10)，输入"cat /proc/misc |grep watchdog"(应为130)。最后，生成设备文件："mknod /dev/watchdog c 10 130" 。即可使用此功能。
　　node    node.1#主节点主机名，可以通过命令“uanme –n”查看。
　　node    node.2#备用节点主机名。
　　ping 10.0.0.254#选择ping的节点，ping 节点选择的越好，HA集群就越强壮，可以选择固定的路由器作为ping节点，但是最好不要选择集群中的成员作为ping节点，ping节点仅仅用来测试网络连接。
　　respawn hacluster /usr/lib/heartbeat/ipfail #该选项是可选配置，列出与heartbeat一起启动和关闭的进程，该进程一般是和heartbeat集成的插件，这些进程遇到故障可以自动重新启动。最常用的进程是ipfail，此进程用于检测和处理网络故障，需要配合ping语句指定的ping node来检测网络的连通性。其中hacluster表示启动ipfail进程的身份。如果系统为64为，那么路径为/usr/lib64/heartbeat/ipfail
　　

　　# 配置资源文件
　　# mv /etc/ha.d/haresources /etc/ha.d/haresources.bak
　　# vim /etc/ha.d/haresources#MASTER和BACKUP此文件内容必须完全一致
　　node.1 IPaddr::10.0.2.200/24/eth0:0 ldirectord
　　# node.1是HA集群的主节点，IPaddr为heartbeat自带的一个执行脚步，heartbeat首先将执行/etc/ha.d/resource.d/IPaddr 10.0.2.200/24 start的操作，也就是虚拟出一个子网掩码为255.255.255.0，IP为10.0.2.200的地址，此IP为heartbeat对外提供服务的网络地址，同时指定此IP使用的网络接口为eth0:0，然后启动ldirectord服务。
　　
　　# 配置认证文件
　　# vim /etc/ha.d/authkeys
　　auth 1
　　1 crc
　　#2 sha1 sha1_any_password
　　#3 md5 md5_any_password
　　# chmod 600 /etc/ha.d/authkeys
　　

　　# 配置ldirectord.cf
　　# mv /etc/ha.d/ldirectord.cf /etc/ha.d/ldirectord.cf.bak
　　# vim /etc/ha.d/ldirectord.cf
　　# Global Directives
　　checktimeout=3#判定real server出错的时间间隔。
　　checkinterval=1#指定ldirectord在两次检查之间的间隔时间。
　　#fallback=127.0.0.1:80#当所有的real server节点不能工作时，web服务重定向的地址。
　　autoreload=yes#是否自动重载配置文件，选yes时，配置文件发生变化，自动载入配置信息。
　　logfile="/var/log/ldirectord.log"#设定ldirectord日志输出文件路径。
　　#logfile="local0"
　　#emailalert="admin@x.y.z"
　　#emailalertfreq=3600
　　#emailalertstatus=all
　　quiescent=yes#当选择no时，如果一个节点在checktimeout设置的时间周期内没有响应，ldirectord将会从LVS的路由表中直接移除real server，此时，将中断现有的客户端连接，并使LVS丢掉所有的连接跟踪记录和持续连接模板，如果选择为yes，当某个real server失效时，ldirectord将失效节点的权值设置为0，新的连接将不能到达，但是并不从LVS路由表中清除此节点，同时，连接跟踪记录和程序连接模板仍然保留在Director上。
　　#Sample configuration for a MySQL virtual service.
　　virtual = 10.0.2.200:3306 #指定虚拟的IP地址和端口号，注意，在virtual行后面的行必须缩进4个空格或以一个tab字符进行标记。
　　real=node.3->node.4:3306 gate 10#指定Real Server服务器地址和端口，同时设定LVS工作模式,用gate表示DR模式，ipip表示TUNL模式，masq表示NAT模式。
　　#fallback=127.0.0.1:3306
　　service=mysql#指定服务的类型，
　　scheduler=rr#指定调度算法
　　#persistent=600
　　#netmask=255.255.255.255
　　protocol=tcp#指定协议的类型
　　checkport=3306#指定监控的端口号。
　　checktype=connect#指定Ldirectord的检测类型
　　login="mysql"
　　passwd="123456"
　　database="cluster"
　　request="SELECT * FROM test"
　　

　　# 配置BACKUP节点同MASTER一样，并且设置时间同步，参考“搭建配置NTP服务器”一文
　　

　　# /etc/init.d/heartbeat start
　　# ipvsadm #查看real server 和权值不为0
　　# ifconfig #查看有没有加载eth0:0 VIP
　　

　　3)、配置Real Server
　　a、mysql的安装以及主从配置参考“MySQL同步复制”一文
　　

　　b、配置vip和arp
　　# vim /etc/init.d/lvsrs
　　#!/bin/bash
　　#description : Start Real Server
　　VIP=10.0.2.200
　　/etc/rc.d/init.d/functions
　　case "$1" in
　　start)
　　echo " Start LVS  of  Real Server"
　　/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
　　/sbin/route add -host $VIP dev lo:0
　　echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
　　echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
　　echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
　　echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
　　sysctl -p
　　;;
　　stop)
　　/sbin/ifconfig lo:0 down
　　/sbin/route del -host $VIP dev lo:0
　　echo "close LVS Director server"
　　echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
　　echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
　　echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
　　echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
　　;;
　　*)
　　        echo "Usage: $0 {start|stop}"
　　        exit 1
　　esac
　　# chmod 755 /etc/init.d/lvsrs
　　# /etc/init.d/lvsrs start
　　

　　c、配置mysql,注意要在master数据库中配置
　　mysql> use mysql;
　　mysql> CREATE USER 'mysql'@'localhost' IDENTIFIED BY '123456';
　　mysql> grant all privileges on *.* to mysql@10.0.100.34 identified by '123456';   #允许10.0.100.34的mysql用户访问本数据库
　　mysql> flush privileges;
　　mysql> create database cluster;
　　mysql> use cluster
　　mysql> create table test(ename varchar(10));
　　

　　4）、测试
　　略