Heartbeat高可用性和LVS的综合应用

qianqianling

一、简介
　　Heartbeat 项目是 Linux-HA 工程的一个组成部分，它实现了一个高可用集群
　　系统。心跳服务和集群通信是高可用集群的两个关键组件，在 Heartbeat 项目里，由
　　heartbeat 模块实现了这两个功能。
　　原理
　　Heartbeat最核心的包括两个部分，心跳监测部分和资源接管部分，心跳监测可以
　　通过网络链路和串口进行，而且支持冗 余链路，它们之间相互发送报文来告诉对方自
　　己当前的状态，如果在指定的时间内未受到对方发送的报文，那么就认为对方失效，这
　　时需启动资源接管模块来接管运 行在对方主机上的资源或者服务。
　　高可用集群
　　高可用集群是指一组通过硬件和软件连接起来的独立计算机，它们在用户面前表现
　　为一个单一系统，在这样的一组计算机系统内部的一个或者多个节点停止工作，服务会
　　从故障节点切换到正常工作的节点上运行，不会引起服务中断。从这个定义可以看出，
　　集群必须检测节点和服务何时失效，何时恢复为可用。这个任务通常由一组被称为“心
　　跳”的代码完成。在Linux-HA里这个功能由一个叫做heartbeat的程序完成。
　　可靠消息通信
　　Heartbeat通过插件技术实现了集群间的串口、多播、广播和组播通信，在配置的
　　时候可以根据通信媒介选择采用的通信协议，heartbeat启动的时候检查这些媒介是否
　　存在，如果存在则加载相应的通信模块。这样开发人员可以很方便地添加新的通信模
　　块，比如添加红外线通信模块。
　　对于高可用集群系统，如果集群间的通信不可靠，那么很明显集群本身也不可靠。
　　Heartbeat采用UDP协议和串口进行通信，它们本身是不可靠的，可靠性必须由上层应
　　用来提供。那么怎样保证消息传递的可靠性呢？
　　Heartbeat通过冗余通信通道和消息重传机制来保证通信的可靠性。Heartbeat检
　　测主通信链路工作状态的同时也检测备用通信链路状态，并把这一状态报告给系统管理
　　员，这样可以大大减少因为多重失效引起的集群故障不能恢复。例如，某个工作人员不
　　小心拨下了一个备份通信链路，一两个月以后主通信链路也失效了，系统就不能再进行
　　通信了。通过报告备份通信链路的工作状态和主通信链路的状态，可以完全避免这种情
　　况。因为这样在主通信链路失效以前，就可以检测到备份工作链路失效，从而在主通信
　　链路失效前修复备份通信链路。
　　LVS
　　请浏览博客LVS简介及配置案例：http://caoruijun.blog.运维网.com/5544226/1020014
二、案例
　　拓扑图：

　　配置过程：
　　node1：
　　配置地址信息结果：
　　[root@localhost ~]# ifconfig
eth0      Link encap:Ethernet  HWaddr 00:0C:29:3C:C1:80  
          inet addr:192.168.145.99  Bcast:192.168.145.255  Mask:255.255.255.0
　　eth1      Link encap:Ethernet  HWaddr 00:0C:29:3C:C1:8A  
          inet addr:192.168.10.1  Bcast:192.168.10.255  Mask:255.255.255.0
　　lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
　　修改服务器名称：
　　[root@localhost ~]# vim /etc/sysconfig/network
　　编辑结果：
　　3 HOSTNAME=node1.a.com
　　重启：
　　[root@localhost ~]# reboot
　　编辑hosts文件：
　　[root@node1 ~]# vim /etc/hosts
　　编辑结果：
　　5 192.168.145.99   node1.a.com
6 192.168.145.100 node2.a.com
　　编辑本地yum:
　　[root@node1 ~]# vim /etc/yum.repos.d/rhel-debuginfo.repo
　　编辑结果：
　　1 [rhel-server]
  2 name=Red Hat Enterprise Linux server
  3 baseurl=file:///mnt/cdrom/Server
  4 enabled=1
  5 gpgcheck=1
  6 gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release
  7
  8 [rhel-cluster]
  9 name=Red Hat Enterprise Linux cluster
10 baseurl=file:///mnt/cdrom/Cluster
11 enabled=1
12 gpgcheck=1
13 gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release
　　挂载光盘：
　　[root@node1 ~]# mkdir /mnt/cdrom
　　[root@node1 ~]# mount /dev/cdrom /mnt/cdrom
　　安装heartbeat相关软件：
　　[root@node1 ~]# yum localinstall -y heartbeat-2.1.4-9.el5.i386.rpm heartbeat-pils-2.1.4-10.el5.i386.rpm heartbeat-stonith-2.1.4-10.el5.i386.rpm libnet-1.1.4-3.el5.i386.rpm perl-MailTools-1.77-1.el5.noarch.rpm --nogpgcheck
　　[root@node1 ~]# cd /usr/share/doc/heartbeat-2.1.4/
　　[root@node1 heartbeat-2.1.4]# ls
apphbd.cf         faqntips.html        haresources         Requirements.html
authkeys          faqntips.txt         hb_report.html      Requirements.txt
AUTHORS           GettingStarted.html  hb_report.txt       rsync.html
ChangeLog         GettingStarted.txt   heartbeat_api.html  rsync.txt
COPYING           ha.cf                heartbeat_api.txt   startstop
COPYING.LGPL      HardwareGuide.html   logd.cf
DirectoryMap.txt  HardwareGuide.txt    README
　　[root@node1 heartbeat-2.1.4]# cp ha.cf /etc/ha.d
　　[root@node1 heartbeat-2.1.4]# cp haresources /etc/ha.d
　　[root@node1 heartbeat-2.1.4]# cp authkeys /etc/ha.d
　　[root@node1 heartbeat-2.1.4]# cd /etc/ha.d
　　设置心跳探测机制：
　　[root@node1 ha.d]# vim ha.cf
　　编辑结果：
　　95 bcast eth1
　　214 node    node1.a.com
215 node    node2.a.com
　　生成随机字段：
　　[root@node1 ha.d]# dd if=/dev/random bs=512 count=1 |openssl md5
0+1 records in
0+1 records out
128 bytes (128 B) copied, 0.00036707 seconds, 349 kB/s
bc0f845b29eaba0c20d0ec695a6266ed
　　将生成的随机字段添加到authkeys文件中：
　　[root@node1 ha.d]# vim authkeys
　　编辑结果：
　　27 auth 3
28 3 md5 bc0f845b29eaba0c20d0ec695a6266ed
　　[root@node1 ha.d]# chmod 600 authkeys
　　[root@node1 ha.d]# vim haresources
　　编辑结果：
　　45 node1.a.com 192.168.145.101/24/eth0/192.168.145.255 ipvsadm
　　[root@node1 ha.d]# cp /etc/init.d/ipvsadm  resource.d/
　　安装LVS相关软件：
　　[root@node1 ~]# yum install ipvsadm
　　[root@node1 ~]# ipvsadm -A -t 192.168.145.101:80 -s rr
　　[root@node1 ~]# ipvsadm -a -t 192.168.145.101:80 -r 192.168.145.200 –g
　　[root@node1 ~]# ipvsadm -a -t 192.168.145.101:80 -r 192.168.145.201 –g
　　[root@node1 ~]# service ipvsadm save
Saving IPVS table to /etc/sysconfig/ipvsadm:               [确定]
　　[root@node1 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.145.101:80 rr
  -> 192.168.145.201:80           Route   1      0          0         
  -> 192.168.145.200:80           Route   1      0          0
　　[root@node1 ~]# service ipvsadm stop
Clearing the current IPVS table:                           [确定]
　　启动heartbeat服务：
　　[root@node1 ha.d]# chkconfig heartbeat on
　　[root@node1 ha.d]# service heartbeat start
Starting High-Availability services:
2012/08/03_04:03:29 INFO:  Resource is stopped
                                                           [确定]
　　node2：
　　配置地址信息结果：
　　[root@localhost ~]# ifconfig
eth0      Link encap:Ethernet  HWaddr 00:0C:29:93:53:D7  
          inet addr:192.168.145.100  Bcast:192.168.145.255  Mask:255.255.255.0
　　eth1      Link encap:Ethernet  HWaddr 00:0C:29:93:53:E1  
          inet addr:192.168.10.2  Bcast:192.168.10.255  Mask:255.255.255.0
　　lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
　　修改服务器名称：
　　[root@localhost ~]# vim /etc/sysconfig/network
　　编辑结果：
　　3 HOSTNAME=node2.a.com
　　重启：
　　[root@localhost ~]# reboot
　　编辑hosts文件：
　　[root@node2 ~]# vim /etc/hosts
　　编辑结果：
　　5 192.168.145.99 node1.a.com
6 192.168.145.100 node2.a.com
　　编辑本地yum:
　　[root@node2 ~]# vim /etc/yum.repos.d/rhel-debuginfo.repo
　　编辑结果：
　　1 [rhel-server]
  2 name=Red Hat Enterprise Linux server
  3 baseurl=file:///mnt/cdrom/Server
  4 enabled=1
  5 gpgcheck=1
  6 gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release
  7
  8 [rhel-cluster]
  9 name=Red Hat Enterprise Linux cluster
10 baseurl=file:///mnt/cdrom/Cluster
11 enabled=1
12 gpgcheck=1
13 gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release
　　挂载光盘：
　　[root@node2 ~]# mkdir /mnt/cdrom
　　[root@node2 ~]# mount /dev/cdrom /mnt/cdrom
　　安装heartbeat相关软件：
　　[root@node2 ~]# yum localinstall -y heartbeat-2.1.4-9.el5.i386.rpm heartbeat-pils-2.1.4-10.el5.i386.rpm heartbeat-stonith-2.1.4-10.el5.i386.rpm libnet-1.1.4-3.el5.i386.rpm perl-MailTools-1.77-1.el5.noarch.rpm –nogpgcheck
　　从node1中复制文件：
　　node1中的操作：
　　[root@node1 ha.d]# scp ha.cf  node2.a.com:/etc/ha.d
The authenticity of host 'node2.a.com (192.168.145.100)' can't be established.
RSA key fingerprint is 3e:d3:a4:79:cf:7f:20:39:91:b5:49:cc:71:73:51:34.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'node2.a.com,192.168.145.100' (RSA) to the list of known hosts.
root@node2.a.com's password:
ha.cf                                            100%   10KB  10.3KB/s   00:00
　　[root@node1 ha.d]# scp haresources  node2.a.com:/etc/ha.d
root@node2.a.com's password:
haresources                                      100% 5963     5.8KB/s   00:00
　　[root@node1 ha.d]# scp authkeys  node2.a.com:/etc/ha.d
root@node2.a.com's password:
authkeys                                         100%  691     0.7KB/s   00:00
　　[root@node1 ha.d]# scp /etc/init.d/ipvsadm  node2.a.com:/etc/ha.d/resource.d/
root@node2.a.com's password:
ipvsadm                                          100% 2618     2.6KB/s   00:00
　　安装LVS相关软件：
　　[root@node2 ~]# yum install ipvsadm
　　[root@node2 ~]# ipvsadm -A -t 192.168.145.101:80 -s rr
　　[root@node2 ~]# ipvsadm -a -t 192.168.145.101:80 -r 192.168.145.200 –g
　　[root@node2 ~]# ipvsadm -a -t 192.168.145.101:80 -r 192.168.145.201 –g
　　[root@node2 ~]# service ipvsadm save
Saving IPVS table to /etc/sysconfig/ipvsadm:               [确定]
　　[root@node2 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.145.101:80 rr
  -> 192.168.145.201:80           Route   1      0          0         
  -> 192.168.145.200:80           Route   1      0          0
　　[root@node2 ~]# service ipvsadm stop
Clearing the current IPVS table:                           [确定]
　　启动heartbeat服务：
　　[root@node2 ha.d]# chkconfig heartbeat on
　　[root@node2 ha.d]# service heartbeat start
Starting High-Availability services:
2012/08/03_04:04:45 INFO:  Resource is stopped
                                                           [确定]