heartbeat实现web高可用
heartbeat 概述:官方网站：http://www.linux-ha.org/
下载 heartbeat：http://www.linux-ha.org/wiki/Download
下载得到： 目前的这些版本是：
Heartbeat-3-0-7e3a82377fa8.tar.bz2 #心跳主程序包
Reusable-Cluster-Components-glue--glue-1.0.9.tar.bz2 #可重复使用的群集组件
端口号：694
# vim /etc/services
http://s3.运维网.com/wyfs02/M00/70/A7/wKioL1W7GpGCudwKAAFRkwTVkPQ803.jpg
扩展： 谁管理着 TCP/UDP 公共服务的端口定义
IANA 就是指(Internet Assigned Numbers Authority) ，Internet 号分配的机构。负责对 IP 地址分 配规划以及对 TCP/UDP 公共服务的端口定义。
官网：http://www.iana.org/
IANA 的所有任务可以大致分为三个类型：
一、域名。IANA 管理 DNS 域名根和.int，.arpa 域名以及 IDN（国际化域名）资源。
二、数字资源。IANA 协调全球 IP 和 AS（自治系统）号并将它们提供给各区域 Internet 注册机构。 注： AS 自治系统号，是 BGP 路由协议中的号。（管理国家跟国家之间的流量）
三、协议分配。IANA 与各标准化组织一同管理协议编号系统。
http://s3.运维网.com/wyfs02/M02/70/AB/wKiom1W7GJCwl8dkAAG7wfb-DMc228.jpg
silence80 主 web
silence84 从 web
silence81 NFS
浮动资源：
1. 公网 IP 地址
2. HTTP 服务
3. 存储：NFS 挂载
准备工作：silence80，silence84
1. 修改主机名，永久生效
# vim /etc/sysconfig/network
HOSTNAME=silence80
2. 解析
# vim /etc/hosts
192.168.1.80silence80
192.168.1.84silence84
3. 关防火墙,关掉 selinux
# iptables -F
# getenforce
Permissive
配置 silence81 为 NFS 服务器，提供存储资源 安装 NFS 服务器：
# rpm -qf /etc/init.d/nfs nfs-utils-1.2.3-15.el6.x86_64
# mkdir /wwwdir
# echo "heartbeathttpha" > /wwwdir/index.html
#cat /etc/exports
/wwwdir192.168.1.0/24(rw)
配置好目录权限：
# ll -d /wwwdir/
drwxr-xr-x 2 root root 4096 May 29 18:52 /wwwdir/ # chmod 777 -R /wwwdir/ # ll -d /wwwdir/
drwxrwxrwx 2 root root 4096 May 29 18:52 /wwwdir/
开启 nfs 服务
# service nfs restart
# chkconfig nfs on
silence80 测试 nfs 存储挂载并安装 httpd web 服务器：
# yum install httpd -y
# showmount -e 192.168.1.81
Export list for 192.168.1.81:
/wwwdir 192.168.1.0/24
# mount -t nfs 192.168.1.81:/wwwdir /var/www/html/ # service httpd restart
测试：
# yum install elinks -y
# elinks --dump 192.168.1.80
heartdeat http ha
卸载资源：后期这些资源通过 heartbeat 直接加载
# umount /var/www/html/
# service httpd stop
# chkconfig httpd off
silence84 测试 nfs 存储挂载并安装 httpd web 服务器：
# cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=silence84
# scp /etc/hosts 192.168.1.84:/etc/
root@192.168.1.84's password:
hosts100% 2130.2KB/s00:00
# yum install httpd -y
# showmount -e 192.168.1.81
Export list for 192.168.1.81:
/wwwdir 192.168.1.0/24
# mount -t nfs 192.168.1.81:/wwwdir /var/www/html/
# service httpd restart
测试：
# yum install elinks -y
# elinks --dump 192.168.1.84 heartdeat http ha
heartdeat http ha
卸载资源：后期这些资源通过 heartbeat 直接加载
# umount /var/www/html/
# service httpd stop
# chkconfig httpd off
silence80 安装 heartbeat
配置好 yum 源：
# cat /etc/yum.repos.d/rhel-source.repo
name=Red Hat Enterprise Linux $releasever - $basearch - Source baseurl=file:///mnt/
enabled=1 gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
name=Red ha baseurl=file:///mnt/HighAvailability enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
#
#说明，如果不配置这个 baseurl=file:///mnt/HighAvailabilit，则无法使用 yum 安装 cluster-glue和 resource-agents
centos 6.2 或6.5 的源里 cluster-glue、resource-agents、pacemaker 都有，就是没有 heartbeat。 幸好 heartbeat 的 source 里提供了.spec 可以用 rpmbuild 来生成 rpm 包。
接下来，安装 heartbeat
上传 Heartbeat-3-0-7e3a82377fa8.tar.bz2 到 silence80 上
# tar -jxvf Heartbeat-3-0-958e11be8686.tar.bz2
# cd Heartbeat-3-0-958e11be8686
# rpmbuild -ba heartbeat-fedora.spec # 虽然报了错，但是帮你生成了目录：/root/rpmbuild/SOURCES/ 。如你系统本身就有此目录，可以直 接拷贝这个压缩包到这个目录
error: File /root/rpmbuild/SOURCES/heartbeat.tar.bz2: No such file or directory
生成/root/rpmbuild/SOURCES/heartbeat.tar.bz2 文件：
#tar-jxvf /root/Heartbeat-3-0-958e11be8686.tar.bz2 -C /root/rpmbuild/SOURCES/
# cd /root/rpmbuild/SOURCES/
# mv Heartbeat-3-0-958e11be8686 heartbeat#一定要改为heartbeat，否则编译包的时候回报错
#tar-jcvfheartbeat.tar.bz2heartbeat#生成heartbeat.tar.bz2 软件包，如果直接使用源码包，生成 rpm 包时，会报错。
如：
# cd /root/rpmbuild/SOURCES/heartbeat/ # rpmbuild -ba heartbeat-fedora.spec
error: File /root/rpmbuild/SOURCES/heartbeat.tar.bz2: No such file or directory
# 解决依赖
# yum install ncurses-devel openssl-devel gettext bison flex mailx cluster-glue-libs-devel docbook-dtds docbook-style-xsl libtool-ltdl-devel libuuid-devel -y
# 开始生成 RPM 包
参数：rpmbuild 参数 （-bb 只编译二进制 rpm 包 -bs 只编译源码 srpm 包 -ba 同时编译二进制和 源码 srpm 包）
# pwd
/root/rpmbuild/SOURCES
# cd heartbeat
# rpmbuild -ba heartbeat-fedora.spec
在 silence80 和 silence84 上都安装：heartbeat
在 silence80 上安装：heartbeat
# cd /root/rpmbuild/RPMS/x86_64/
# yum install -y cluster-glue resource-agents
# rpm -ivh heartbeat-libs-3.0.6-1.el6.x86_64.rpm
# rpm -ivh heartbeat-3.0.6-1.el6.x86_64.rpm
silence84 上都安装：heartbeat
把软件包和 yum 配置文件拷贝到 silence84 上：
#cd /root/rpmbuild/RPMS/x86_64/
# scp -r ./* 192.168.1.84:/root/
#scp/etc/yum.repos.d/rhel-source.repo
192.168.1.84:/etc/yum.repos.d/
silence84 配置：heartbeat
#yuminstall ncurses-devel openssl-devel gettextbison flexmailx cluster-glue-libs-devel docbook-dtds docbook-style-xsl -y
# rpm -ivh heartbeat-libs-3.0.5-1.el6.x86_64.rpm
# yum install -y cluster-glue resource-agents
# rpm -ivh heartbeat-3.0.6-1.el6.x86_64.rpm
查看生成的用户和组：
# grep haclient /etc/group haclient:x:489:
# id hacluster
uid=495(hacluster) gid=489(haclient) groups=489(haclient)
配置 heartbeat ：silence80
生成 heartbeat 配置文件
在 silence80 上配置好 3 个配置文件，然后拷给 silence84 即可。 生成配置文件：
# cp /usr/share/doc/heartbeat-3.0.6/ha.cf /etc/ha.d/ #主配置文件
# cp /usr/share/doc/heartbeat-3.0.6/authkeys /etc/ha.d/ #主备节点 间通信时所使用的验证文件，保证安全性
# cp /usr/share/doc/heartbeat-3.0.6/haresources /etc/ha.d/#定义浮动资源的配置文件
1、设置主备节点间通信时所使用的验证文件，保证安全性。主备节点配置要求一致。
# vim /etc/ha.d/authkeys
改：
#auth 3
#1 crc
#2 sha1 HI!
#3 md5 Hello!
为：
auth 3
#1 crc
#2 sha1 HI!
3 md5 mkkey
查看：
# grep ^[^#] /etc/ha.d/authkeys
auth 3
3 md5 Hello!
# chmod 600 /etc/ha.d/authkeys #此文件权限必须是 600，否则启动不成功
注:
/etc/ha.d/authkeys 文件决定了认证密钥。共有三种认证方式：crc，md5，和 sha1。 互动：“我应该用哪个方法呢？”
如果 Heartbeat 运行于安全网络之上，如本例中的交叉线，可以使用 crc，从资源的角度来看，这是代 价最低的方法。如果网络并不安全，但也希望降低 CPU 使用，则使用 md5。最后，如果想得到最好的认 证，而不考虑 CPU 使用情况，则使用 sha1，它在三者之中最难破解。
2.定义浮动资源，注意添加的顺序，::表示分隔符
#vim /etc/ha.d/haresources
改：
44 #node-name resource1 resource2 ... resourceN
为：
silence80 IPaddr::192.168.1.88/24/eth0 Filesystem::192.168.1.81:/wwwdir::/var/www/html::nfs httpd
注：
node-name 填的是主服务器的主机名。 silence84 上不需要修改。这样资源默认会加一这个主机 上。当 silence80 坏了，silence84 会再接管。
IPaddr::192.168.1.88/24/eth0#指定 VIP 及绑定到哪个网卡上
Filesystem::192.168.1.81:/wwwdir::/var/www/html::nfs #指定要挂载的存储
httpd #指定要启动的服务。 注，这个服务必须是/etc/init.d 下，可以通过 service 去启动或关闭
测试： 手动加载 VIP 192.168.1.88 到 eth0:0 上
# ll /etc/ha.d/resource.d/IPaddr
-rwxr-xr-x 1 root root 2273 Jul 29 20:49 /etc/ha.d/resource.d/IPaddr
# /etc/ha.d/resource.d/IPaddr 192.168.1.88/24/eth0:0 start
IPaddr: INFO: Using calculated netmask for 192.168.1.88: 255.255.255.0
IPaddr: DEBUG: Using calculated broadcast for 192.168.1.88: 192.168.1.255
IPaddr: INFO: eval ifconfig eth0:0 192.168.1.88 netmask 255.255.255.0 broadcast
192.168.1.255
IPaddr: DEBUG: Sending Gratuitous Arp for 192.168.1.88 on eth0:0 ARPING 192.168.1.88 from 192.168.1.88 eth0
IPaddr: INFO: Success
INFO: Success
查看 VIP：
# ifconfig#可以看到 eth0:0 的 IP 为：192.168.1.88
测试： 手动加载 NFS 存储资源到/var/www/html
#/etc/ha.d/resource.d/Filesystem192.168.1.81:/wwwdir
/var/www/html/ nfs start
Filesystem: INFO: Running start for 192.168.1.81:/wwwdir on /var/www/html
Filesystem: INFO: Success
INFO: Success
# ls /var/www/html/index.html
/var/www/html/index.html
# mount
.....
192.168.1.81:/wwwdiron/var/www/htmltypenfs
(rw,vers=4,addr=192.168.1.81,clientaddr=192.168.1.80)
测试： 手动启动 httpd 服务
# /etc/init.d/httpd restart
3.定义/etc/ha.d/ha.cf
# grep ^[^#] /etc/ha.d/ha.cf #默认只开启了以下两行内容
logfacilitylocal0 auto_failback on
#auto_failback on #为 on 时，主结点恢复正常后，资源自动转给主结点。 建议设为 auto_failback off ，等主节点恢复正常后，在业务不繁忙时，切换回来。防止主节点恢复正常时，回切时，再次影起网 络中断。
# vim /etc/ha.d/ha.cf#将配置文件中，以下内存前面的#号去掉
24 debugfile /var/log/ha-debug
29 logfile /var/log/ha-log
48 keepalive 2 #设定 heartbeat 之间的时间间隔为 2 秒。
56 deadtime 30 #在 30 秒后宣布节点死亡。
61 warntime 10 #在日志中发出“late heartbeat“警告之前等待的时间，单位为秒。
71 initdead 120#在某些系统上，系统启动或重启之后需要经过一段时间网络才能正常工作，该选项 用于解决这种情况产生的时间间隔。取值至少为 deadtime 的两倍。
76 udpport 694 #使用端口 694 进行 bcast 和 ucast 通信。这是默认的，并且在 IANA 官方注册的端 口号。
121 ucast eth0 192.168.1.84 #表示从本机的 eth0 接口发心跳消息给对方节点，写另一端的 IP 地址 。 这是单播地址。 silence84 上改为 192.168.1.80 。心跳网卡 ，如果你有两个网卡，可以写成 eth1 注：配置文件中 91 #bcast eth0#表示在 eth0 接口上使用广播 heartbeat（将 eth1 替换为 eth0， eth2，或者您使用的任何接口）。
157 auto_failback on#当 auto_failback 设置为 on 时，一旦主节点重新恢复联机，将从从节点取回 所有资源。若该选项设置为 off，主节点便不能重新获得资源。
211 nodesilence80 #该选项是必须配置的。集群中机器的主机名，不“uname –n”的输 出相同。
212 nodesilence84
这两行内容大约在此位置：
http://s3.运维网.com/wyfs02/M02/70/A7/wKioL1W7Gmjjq2gGAAFRmH2LUdQ891.jpg
改：223 #ping 10.10.10.254
为：223 ping 192.168.1.1#通过 ping 命令来实现仲裁 改：256 #respawn hacluster /usr/lib/heartbeat/ipfail
为：256 respawn hacluster /usr/libexec/heartbeat/ipfail 改：262 #apiauth ipfail gid=haclient uid=hacluster
为： apiauth ipfail gid=haclient uid=hacluster
到此修改结束，保存，退出。
# rpm -qf /usr/libexec/heartbeat/ipfail#查看这个包是哪个软件包 安装生成的
heartbeat-3.0.6-1.el6.x86_64
复制配置文件到 silence84 上：
# cd /etc/ha.d/
# scp ha.cf haresources authkeys 192.168.1.84:/etc/ha.d/
root@192.168.1.84's password:
ha.cf100%10KB10.3KB/s00:00
haresources100% 60075.9KB/s00:00
authkeys100% 6420.6KB/s00:00
silence84 上配置 heartbeat
# chmod 600 /etc/ha.d/authkeys #此文件必须是 600 否则 heartbeat 启动 不成功
#修改单播地址
# vim /etc/ha.d/ha.cf
改：
ucast eth0 192.168.1.84
为：
ucast eth0 192.168.1.80
两机器启动 heartbeat 服务：
# /etc/init.d/heartbeat restart
# /etc/init.d/heartbeat restart
Stopping High-Availability services:[ OK ]
Waiting to allow resource takeover to complete:[ OK ]
#等待资源接管完成。 takeover 接管。 当启动停留在这个界面时，silence84 会接管所有浮动资源。 等下面启动成功时，silence84 会释放资源，浮云资源，再次加载。
Starting High-Availability services: IPaddr: INFO: Resource is stopped[ OK ]
查看端口号：
# netstat -antup | grep 694
udp00 0.0.0.0:6940.0.0.0:*6895/heartbeat: wr
查看端口号：
# netstat -antup | grep 694
udp00 0.0.0.0:6940.0.0.0:*6895/heartbeat: wr
在 silence80 查看集群资源：
# ifconfig
.....
eth0:0Link encap:Ethernet HWaddr 00:0C:29:12:EC:1E
inet addr:192.168.1.88 Bcast:192.168.1.255Mask:255.255.255.0
# df -h
.....
/dev/sr03.4G 3.4G0 100% /mnt
192.168.1.81:/wwwdir9.7G 3.4G 5.8G 37% /var/www/html
# /etc/init.d/httpd status httpd (pid 23641) is running...
silence84 上查看，没有任务浮动资源：
# ifconfig
# df -h
# /etc/init.d/httpd status httpd is stopped
测试：
两台主机都开启时，所有请求到转到了 silence80 上。访问：http://192.168.1.88/ 正常
http://s3.运维网.com/wyfs02/M01/70/AB/wKiom1W7GF7iQ92rAAH4wFHcbT4866.jpg
当掉 silence80，关闭网卡，等 30 秒钟，所有请求都转到 silence84 上了
# ifdown eth0
# ifconfig
...
eth0:0Link encap:Ethernet HWaddr 00:0C:29:48:80:95
inet addr:192.168.1.88 Bcast:192.168.1.255Mask:255.255.255.0 # df -h
...
192.168.1.81:/wwwdir9.7G 3.4G 5.8G 37% /var/www/html
# service httpd status
httpd (pid 6375) is running...
silence80 上把 eth0 网卡再次开启：
# ifup eth0
等 30 秒后，查看：
# df -h
...
192.168.1.81:/wwwdir9.7G 3.4G 5.8G 37% /var/www/html#已经加载了 httpd 资源
# service httpd status
httpd (pid 27097) is running...
# ifconfig
。。。
eth0:0Link encap:Ethernet HWaddr 00:0C:29:12:EC:1E
inet addr:192.168.1.88 Bcast:192.168.1.255Mask:255.255.255.0
资源已经回切过来。
在 silence84 上查看释放资料：
# ifconfig#查看不到 eth0：0 192.168.1.88 这个 IP 地址
# df -h
FilesystemSize Used Avail Use% Mounted on
/dev/sda29.7G 3.7G 5.5G 41% /
tmpfs569M0 569M0% /dev/shm
/dev/sda1194M28M 157M 15% /boot
/dev/sr03.4G 3.4G0 100% /mnt
# service httpd status
httpd is stopped
扩展：
heartbeat 自带的断网切换的工具-ipfail ipfail 断网切换的原理
关于 ipfail 这个断网切换的原理很简单,首先 heartbeat 要判断自己的网络是否正常其实就是通过 ping某个 ip，如果可以 ping 的通,说明网络是通的,如果 ping 不通了,说明是网络断了,或者是主服务器的网卡坏了,然后执行切换的动作。
ping 一个 group 的 ipfail 配置:
ping-groupipfail :
ping_group groupll72.16.103.254 172.16.103.212
end！
页:
[1]