Linux集群系统Heartbeat-DevilRex119

qqruser

　　1、理论部分
　　1.1、群集的分类
　　我们用到的集群系统主要就2种:
　　高可用(High Availability)HA集群, 使用Heartbeat实现;也会称为”双机热备”, “双机互备”, “双机”。
　　负载均衡群集(Load Balance Cluster)，使用Linux Virtual Server(LVS)实现;
　　1.2、heartbeat的作用
　　通过heartbeat，可以将资源（IP以及服务等资源）从一台已经故障的计算机快速转移到另外一台正常运转的计算机上继续提供服务，一般称之为高可用服务。
　　1.3、heartbeat （Linux-HA）的工作原理
　　heartbeat最核心的包括两个部分，心跳监测部分和资源接管部分，心跳监测可以通过网络链路和串口进行，而且支持冗余链路，它们之间相互发送报文来告诉对方自己当前的状态，如果在指定的时间内未收到对方发送的报文，那么就认为对方失效，这时需启动资源接管模块来接管运行在对方主机上的资源或者服务。
　　1.4、heartbeat的相关术语
　　1）node（节点）- 运行heartbeat进程的一个独立主机，称为节点，节点是HA的核心组成部分。
　　- 节点有主次之分
　　- 有唯一的主机名
　　- 有属于自己的资源
　　- 主节点运行一个或多个应用服务，而备用节点一般处于监控状态。
　　2）resource（资源）- 资源是节点可以控制的实体，当故障发生时这些资源能够被其他节点接管。
　　- 磁盘分区、文件系统
　　- IP地址
　　- 应用程序服务
　　- NFS文件系统
　　3）event（事件）
　　- 节点系统故障
　　- 网络连接故障
　　- 应用故障
　　- ……
　　4）action（动作）
　　事件发生时HA的响应方式（由shell script控制）
　　1.5、heartbeat的组成

　　beartbeat - 节点间通讯检测模块
　　ha-logd - 集群事件日志服务
　　CCM（Consensus Cluster Membership） - 集群成员一致管理模块
　　LRM（Local Resource Manager） - 本地资源管理模块
　　Stonith Daemon - 使出现问题的节点从群集环境中脱离
　　CRM（Cluster Resource Management） - 群集资源管理模块
　　Cluster policy engine - 集群策略引擎
　　Cluster transition engine - 集群转移引擎
　　2、实践部分
　　2.1、主机信息
　　HA1:
　　eth0
　　ipaddress=10.168.0.161
　　vip=10.168.0.160
　　gateway=10.168.0.1
　　eth1
　　ipaddress=10.0.0.1
　　hostname=HA1
　　HA2:
　　eth0
　　ipaddress=10.168.0.162
　　vip=10.168.0.160
　　gateway=10.168.0.161
　　eth1
　　ipaddress=10.0.0.2
　　hostname=HA2
　　client:
　　ipaddress=10.168.0.8
　　2.2、yum源安装
　　In HA1&HA2
1　　2
　　3
yum -y install http://mirrors.opencas.cn/epel/6/i386/epel-release-6-8.noarch.rpm　　yum -y install heartbeat* libnet nginx
　　yum -y install ntp
　　2.3、实验步骤
　　2.3.1、step1
　　In HA1
1　　2
cd /usr/share/doc/heartbeat-3.0.4/　　cp authkeys ha.cf haresources /etc/ha.d/
　　vim编辑/etc/ha.d/authkeys
　　把以下内容的注释去掉（删除#）或直接加入如下内容：
1　　2
auth 3　　3 md5 hello!
　　更改文件权限
1chmod 600 /etc/ha.d/authkeys　　vim编辑/etc/ha.d/haresources加入如下内容：
1ha1 10.168.0.160/24/eth0 nginx　　vim编辑/etc/ha.d/ha.cf，把以下内容的注释去掉（删除#）或直接加入如下内容：
1　　2
　　3
　　4
　　5
　　6
　　7
　　8
　　9
　　10
　　11
　　12
　　13
　　14
　　15
debugfile /var/log/ha-debug　　logfile /var/log/ha-log
　　logfacility local0
　　keeplive 2
　　deadtime 30
　　warntime 10
　　initdead 60
　　udpport 694
　　ucast eth1 10.0.0.2
　　auto_failback on
　　node HA1
　　node HA2
　　ping 10.168.0.1
　　#respawn hacluster /usr/libheartbeat/ipfail
　　respawn hacluster /usr/lib64/heartbeat/ipfail
　　注：
　　1）hostname带后缀的域名（HA1.cmdschool.org）会出报错。
　　2）x86与x64要分别使用14与15行
　　2.3.2、step2
　　In HA2
1scp 10.168.0.161:/etc/ha.d/{authkeys,ha.cf,haresources} /etc/ha.d/　　vim编辑/etc/ha.d/ha.cf，修改ucast参数：
1ucast eth1 10.0.0.1　　IP修改为对端主机的IP地址（10.0.0.1）
　　2.3.3、step3
　　启动服务并配置自启动
　　In HA1&HA2
1　　2
　　3
　　4
/etc/init.d/nginx start　　/etc/init.d/heartbeat start
　　chkconfig heartbeat on
　　chkconfig nginx on
　　2.3.4、step4
　　开放端口
　　In HA1&HA2
　　1)vim编辑/etc/sysconfig/iptables
1　　2
-A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT　　-A INPUT -m state --state NEW -m udp -p udp --dport 694 -j ACCEPT
　　2）重启防火墙
1/etc/init.d/iptables restart　　2.3.5、step5
　　调整时区并对时：
　　In HA1&HA2
1　　2
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime　　ntpdate 0.centos.pool.ntp.org
　　2.3.6、step6
　　1)创建网站测试网站
　　In HA1
1　　2
mkdir -p /var/www/www.cmdschool.org　　echo HA1 > /var/www/www.cmdschool.org/index.html
　　In HA2
1　　2
mkdir -p /var/www/www.cmdschool.org　　echo HA2 > /var/www/www.cmdschool.org/index.html
　　2）检查配置文件
　　In HA1&HA2
1grep include /etc/nginx/nginx.conf　　应当包含如下语句：
1include /etc/nginx/conf.d/*.conf;　　3）增加配置文件
　　In HA1&HA2
　　vim编辑/etc/nginx/conf.d/www.cmdschool.org.conf
1　　2
　　3
　　4
　　5
　　6
　　7
　　8
　　9
server {　　listen       80;
　　server_name  www.cmdschool.org;
　　location / {
　　root   /var/www/www.cmdschool.org;
　　index  index.html index.htm;
　　}
　　}
　　4）重启服务
　　In HA1&HA2
1/etc/init.d/nginx restart　　5）模拟dns并测试
　　In client
　　vim编辑/etc/hosts
110.168.0.161 www.cmdschool.org　　修改www.cmdschool.org指向10.168.0.161，并做如下测试：
1curl http://www.cmdschool.org　　vim编辑/etc/hosts
110.168.0.162 www.cmdschool.org　　修改www.cmdschool.org指向10.168.0.162，并做如下测试：
1curl http://www.cmdschool.org　　5)配置虚拟IP的模拟dns指向
　　vim编辑/etc/hosts
110.168.0.160 www.cmdschool.org　　修改www.cmdschool.org指向10.168.0.160，并做如下测试：
1curl http://www.cmdschool.org　　2.3.7、step7
　　测试步骤
　　1）关闭或重启主节点heartbeat服务
　　In HA1
1/etc/init.d/heartbeat restart　　In client
1curl http://www.cmdschool.org　　注：服务无缝切换
　　2）关闭主节点网络
　　In HA1
1ifdown eth0　　In client
　　等待30秒后：
1curl http://www.cmdschool.org　　注:30秒接管
　　3）关闭主节点电源
　　In HA1
1halt　　In client
　　等待30秒后：
1curl http://www.cmdschool.org　　注:30秒接管
　　4）切断主节点的所有网络
　　In HA1
1ifdown eth1　　注：心跳线中断不会引起资源接管
1ifdown eth0　　In client
　　等待30秒后：
1curl http://www.cmdschool.org　　注:30秒接管
　　5）heartbeat守护进程意外结束
1killall -9 heartbeat　　注：30秒接管（包含内核模块watchdog不出现资源争用）
　　watchdog模块确认方法：
1modinfo softdog　　显示如下：
1　　2
　　3
　　4
　　5
　　6
　　7
　　8
　　9
　　10
　　11
　　12
filename:       /lib/modules/2.6.32-431.el6.x86_64/kernel/drivers/watchdog/softdog.ko　　alias:          char-major-10-130
　　license:        GPL
　　description:    Software Watchdog Device Driver
　　author:         Alan Cox
　　srcversion:     47DC8C5D5D2AF6E6652F271
　　depends:
　　vermagic:       2.6.32-431.el6.x86_64 SMP mod_unload modversions
　　parm:           soft_margin:Watchdog soft_margin in seconds. (0 < soft_margin < 65536, default=60) (int)
　　parm:           nowayout:Watchdog cannot be stopped once started (default=0) (int)
　　parm:           soft_noboot:Softdog action, set to 1 to ignore reboots, 0 to reboot (default depends on ONLY_TESTING) (int)
　　parm:           soft_panic:Softdog action, set to 1 to panic, 0 to reboot (default=0) (int)
　　------------------------------------------------
　　参考资料：
　　http://www.linux-ha.org/
　　http://book.运维网.com/art/200912/168029.htm
　　本文出自 “老谭linux集群博客” 博客，请务必保留此出处http://cmdschool.blog.运维网.com/2420395/1702729