linux下高可用集群之heartbeat详解

zzbb

linux下高可用集群之heartbeat详解

　　1.高可用集群简单效果图

　　1.1.Messaging Layer:主要收集节点间的事务资源心跳等信息，分别有以下几种:
　　heartbeatV1 heartbeatV2 heartbeatV3
　　corosync
　　cman
　　keepalived
　　ultramokey
　　1.2.CRM:cluster resourse manager,对Messaging Layer收集到的资源进行管理，分别有以下几种:
   Heartbeat v1 自带的资源管理器:haresources
   Heartbeat v2 自带的资源管理器:haresources和crm
   Heartbeat v3: 资源管理器crm发展为独立的项目，pacemaker
1.3.RA: Resource Agent,资源代理,由符合LSB标准的脚本(start,stop,restart,status)
   主要功能是CRM资源管理器对资源管理分配后由RA进行执行
　　RA Classes:RA类型
　　Legacy heartbeat v1 RA
　　LSB (/etc/rc.d/init.d/)
　　OCF (Open Cluster Framework):含pacemaker 和 linbit (drbd)
　　STONITH 隔离
   Resource Type:资源类型
primitive: 基本类型
clone: 克隆
group:组
master/slave: drbd,运行于两节点的主从关系
资源粘性：资源对当前节点的依赖程度，通过score定义
资源约束：Constraint
位置约束 location: 资源对节点倾向程度
排列约束 coloation: 资源间依赖性
顺序约束 order: 资源的采取动作的次序
　　2.高可用集群
　　2.1.三个基本要求

　　节点之间名称解析建议写在/etc/hosts文件下

　　节点之间ssh能互相通信,建议使用密钥认证
　　节点之间时间同步建议使用ntp服务器

　　2.2.三个配置文件：
　　authkeys:密钥文件，600,
　　ha.cf: heartbeat服务的配置
　　haresources:资源管理配置文件
　　3.本实验背景:双集群节点为node1.willow.com,IP为1.1.1.18 node2.willow.com,IP为1.1.1.19
　　在node1.willow.com主机配置如下:(与node2.willow.com集群配置全部相同)
　　3.1.安装HA集群包
　　#yum --nogpgcheck localinstall perl-MailTools-1.77-1.el5.noarch.rpm
　　#yum --nogpgcheck localinstall heartbeat-2.1.4-9.el5.i386.rpm heartbeat-gui-2.1.4-9.el5.i386.rpm heartbeat-pils-2.1.4-10.el5.i386.rpm heartbeat-stonith-2.1.4-10.el5.i386.rpm libnet-1.1.4-3.el5.i386.rpm
　　#cd /usr/share/doc/heartbeat-2.1.4/
　　#cp -p authkeys ha.cf haresources /etc/ha.d/

　　#chmod 600 authkeys
　　#cd /etc/ha.d/
　　3.2.vim authkeys #新增如下內容:
　　auth 1
　　1 md5 willow!  #其中willow!是md5所需的salts
　　

　　3.3.vim ha.cf  #修改成如下內容:
　　logfacilitylocal0
　　keepalive 1
　　bcasteth0# Linux
　　auto_failback on
　　nodenode1.willow.com
　　nodenode2.willow.com
　　ping 1.1.1.144
　　

　　3.3.vim haresources #修改成如下內容:
　　node1.willow.com  IPaddr::1.1.1.100/24/eth0 httpd
　　#yum -y install httpd
　　#echo "node1.willow.com" > /var/www/html/index.html #区别首页显示内容
　　#chkconfig httpd off
　　#setenforce 0
　　#iptalbes -F
　　3.4.node2.willow.com主机只修改如下部分(其他与node1.willow.com集群配置全部相同,省略)
　　#echo "node2.willow.com" > /var/www/html/index.html #区别首页显示内容
　　3.5.基于haresources简单集群测试:
　　在node1.willow.com主机下:
　　#serivce heartbeat start
　　#ssh node2 'serivce heartbeat start'
　　#tail -f /var/log/messages #看日志
　　此时通过web访问VIP1.1.1.100看效果
　　#cd /usr/lib/heartbeat
　　#./ha_stanby  #模拟node1节点掉线，web自动转到node2节点上，进行服务
　　此时通过web访问VIP1.1.1.100再看效果
　　3.6.基于haresources通过第三台linux主机1.1.1.20的NFS服务器共享网页内容,再进行集群测试
　　在1.1.1.20主机上开启NFS共享：
　　#mkdir -pv /web/ha
　　#echo "this is NFS sharing" > /web/ha/index.html
　　#vim /etc/exports
　　/web/ha     1.1.1.0/24(ro)
　　#service nfs start
　　#service portmap start
　　在node1主机上:停止heartbeat服务
#ssh node2 'serivce heartbeat stop'
#serivce heartbeat stop
在node1和node2两台主机上:同进修改haresources文件
　　#vim haresources #修改如下内容
　　node1.willow.com IPaddr::1.1.1.100/24/eth0 Filesystem::1.1.1.20:/web/ha::/var/www/html::nfs httpd
　　再在node1主机上:启动heartbeat服务
　　
#serivce heartbeat start
#ssh node2 'serivce heartbeat start'
　　#tail -f /var/log/messages #看日志
　　此时通过web访问VIP1.1.1.100看效果
#cd /usr/lib/heartbeat
#./ha_stanby  #模拟node1节点掉线，web自动转到node2节点上，进行服务
此时通过web访问VIP1.1.1.100再看效果
4.通过hb_gui基于native进行crm管理并集群测试
#vim ha.cf  新增如下内容
crm respawn
#hb_gui & 通过Xshell打开crm管理图行界面
#/usr/lib/heartbeat/ha_propagate  传播ha.cf和authkeys文件给其他节点进行更新
4.1.新增webip资源

　　4.2.新增httpd资源代理
　　

　　4.3.启动资源

　　注意启动资源后,webip和httpd资源分别运行在不同主机上，这不是我们所需要的

　　如果将所有资源绑定成一个组，那么所有资源肯定会运行在同一主机上?
5.通过hb_gui基于group进行crm管理并通过第三台linux主机1.1.1.20NFS服务器共享网页内容
#vim ha.cf  新增如下内容
crm respawn
#hb_gui &   通过Xshell打开crm管理图行界面

#/usr/lib/heartbeat/ha_propagate  传播ha.cf和authkeys文件给其他节点进行更新
先新增资源组webservice,再在webservice组基础上依次顺序新增webip,filesystem,httpd资源
webip资源代理ipaddr,filesystem资源为Filesystem,httpd资源为httpd服务
5.1.新增webservice组

　　

　　5.2.新增webip资源代理

　　

　　5.3.新增filesystem资源代理

　　

　　5.4.新增httpd资源代理

　　

　　5.5.启动所有资源

　　6.通过hb_gui基于约束进行crm管理并通过第三台linux主机1.1.1.20NFS服务器共享网页内容
#vim ha.cf  新增如下内容
crm respawn
#hb_gui &   通过Xshell打开crm管理图行界面

#/usr/lib/heartbeat/ha_propagate  传播ha.cf和authkeys文件给其他节点进行更新
先新增资源组webservice,再在webservice组基础上依次顺序新增webip,filesystem,httpd资源
webip资源代理ipaddr,filesystem资源为Filesystem,httpd资源为httpd服务
6.1.在新增native基础资源后,webip,filesystem和httpd轮徇运行在不同node节点上

　　6.2.新增colocation排列约束httpd_with_filesystem两资源绑在一起

　　再新增colocation排列约束filesystem_with_webip两资源绑在一起

　　6.3.新增顺序约束filesystem_before_httpd，filesystem在httpd之前启动

　　再新增顺序约束webip_before_filesystem，webip在filesystem之前启动

　　6.5.最后效果是所有资源都运行在同一node主机上

　　6.6.利用粘性设定更倾向于运行至指定节点，粘性值必须大于0

　　6.7.设定位置约束，让指定node主机上线后一直处于指定node主机

　　7.通过nfs服务实现mysql数据共享集群
　　7.1.通过第三台主机1.1.1.20，做nfs共享,步骤如下:
　　#fdisk  /dev/sda  #创建lvm分区省略
　　#partprobe /dev/sda
　　#pvcreate /dev/sda5
　　#vgcreate myvg /dev/sda5
　　#lvcreate --help
　　#lvcreate -L +1G -n mydata myvg
　　#mke2fs -j /dev/myvg/mydata
　　#mkdir /mydata
　　#vim /etc/fstab
　　/dev/myvg/mydata   /mydata    ext3   defaults    0 0
　　#mount -a
　　#mkdir /mydata/data
　　#groupadd -g 3306 mysql
　　#useradd -u 3306 -g 3306 -s /sbin/nologin -M mysql
　　#chown -R mysql.mysql /mydata/data/
　　#vim /etc/exports
　　/mydata     1.1.1.0/24(no_root_squash,rw)
　　#exportfs -arv
　　#chkconfig nfs on
　　#chkconfig portmap on
　　7.2.node1主机节点安装mysql步骤如下:
　　#groupadd -g 3306 mysql
　　#useradd -g 3306 -u 3306 -s /sbin/nologin -M mysql
　　#mkdir /mydata
　　#mount -t nfs 1.1.1.20:/mydata /mydata
　　下载并解压通用二进制mysql-5.5.49-linux2.6-i686至/usr/local/路径下
　　#cd /usr/local/
　　#ln -sv mysql-5.5.49-linux2.6-i686 mysql
　　#cd /usr/local/mysql
　　#chown -R root.mysql .
　　#scripts/mysql_install_db --user=mysql --datadir=/mydata/data/
　　#cp support-files/my-huge.cnf /etc/my.cnf
　　#vim /etc/my.cnf
　　thread_concurrency = 2
　　  datadir = /mydata/data
　　  innodb_file_per_table = 1
　　#cp support-files/mysql.server /etc/init.d/mysqld
　　#chkconfig --add mysqld
　　#chkconfig mysqld off
　　#service mysqld start #进行测试mysql是否安装正常
　　#service mysqld stop
　　#umount/mydata
　　7.3.安装node2节点之前，先在node1节点主机上umount/mydata和service mysqld stop,
　　再依node1节点上步骤一样安装node2节点mysql,步骤如上省略
　　7.4.测试mysql集群
#serivce heartbeat start
#ssh node2 'serivce heartbeat start'
#hb_gui &
效果图如下: