Heartbeat haresources的配置

uth5321

一、Heartbeat的简介：       Heartbeat 项目是 Linux-HA 工程的一个组成部分，也是目前开源HA项目中最成功的一个例子，Linux-HA的全称是High-Availability Linux，这个开源项目的目标是：通过社区开发者的共同努力，提供一个增强linux可靠性（reliability）、可用性（availability）和可服务性（serviceability）（RAS）的群集解决方案，它实现了一个高可用集群系统。心跳检测服务和集群通信是高可用集群的两个关键组件，在 Heartbeat 项目里，由 heartbeat 模块实现了这两个功能；heartbeat工作在upd协议的694端口来提供服务。
二、Heartbeat的版本与组件：
       说明：Heartbeat有三个版本分别为Heartbeat v1.x，Heartbeat v2.x，Heartbeat v3.x；Heartbeat v1.x和Heartbeat v2.x版本的组成结构十分简单，所有模块都集中在heartbeat中，到了v3版本后，整个heartbeat项目进行了拆分，分为不同的项目来分别进行开发。
1.Heartbeat v1.x与v2.x的组件
       heartbeat：节点间通信检测模块；
       ha-logd：集群事件日志服务；
       CCM（Consensus Cluster Membership）：集群成员一致性管理模块；
       LRM （Local Resource Manager）：本地资源管理模块；
       Stonith Daemon： 使出现问题的节点从集群环境中脱离或重启；
       CRM（Cluster resource management）：集群资源管理模块；
       Cluster policy engine： 集群策略引擎；
       Cluster transition engine：集群转移引擎（也叫策略执行引擎）；
Heartbeat v1.x与Heartbeat v2.x区别：在Heartbeat v2.x中增加了一个新的集群资源管理器crm，在Heartbeat v1.x中的集群资源管理器是haresource，Heartbeat v2.x中为了兼容v1.x保留了haresource，但同时又新增了一个功能更强大的crm资源管理器；crm管理方式有两种，一种是基于命令行crmsh，一种是基于图形界面的hb_gui。
三、测试环境
             OS：rhel6
             web1：192.168.10.111  hostname=web1.luochen.com   httpd  一块网卡（桥接）
             web2：192.168.10.112  hostname=web2.luochen.com   httpd  一块网卡（桥接）
             web3：nfs服务器（共享存储） 192.168.10.114
             VIP：192.168.10.118

PS：两台web服务器web1和web2，两者之间可以实现故障转移，例如当web1节点出现故障时web2节点可以自动接管web服务的资源，能够继续响应客户端请求；而且web1恢复正常时能正常的把web资源拿回来。

四、安装heartbeat之前的准备工作
      1.节点名称（各个节点通过节点名称来通信的）确保集群的每个节点的名称都能互相解析
          编辑/etc/sysconfig/network 文件
                HOSTNAME=we1.luochen.com
          编辑/etc/hosts 文件
                192.168.10.111 web1.luochen.com web1
                192.168.10.112 web2.luochen.com web2
          #sysctl kernel.hostname=web1.luochen.com
PS：必须确保uname -n 命令查看的结果与/etc/hosts 文件中对应ip地址解析的名称一样
      2.确保所有节点之间的时间一致（建议使用NTP服务器）
          在所有节点里与同一个时间服务器进行时间同步
                #ntpdate ntp-server-ip
      3.基于ssh实现无密钥认证通信
           #ssh-keygen -t rsa -P ''    ####生成一对公钥和私钥，id_rsa 私钥id_rsa.pub 公钥
         把公钥复制到其他节点上
           #ssh-copy-id -i .ssh/id_rsa.pub root@web2.luochen.com  (第一次需要输入密码)
           #ssh web2.luochen.com 'date';date      ####查看时间是否一致（同时在web1和web2上执行date命令）
PS：如果要实现在web2上实现与web1的无密钥认证通信，则要在web2上执行同样的操作
五、安装heartbeat
       1.需要安装rpm包
               heartbeat-2.1.4-12.el6.x86_64.rpm   
               heartbeat-pils-2.1.4-12.el6.x86_64.rpm  
               heartbeat-stonith-2.1.4-12.el6.x86_64.rpm
       2.先解决依赖关系

           #yum -y  install perl-TimeDate PyXML libnet net-snmp-libs
       3.安装heartbeat
           #rpm -ivh heartbeat-2.1.4-12.el6.x86_64.rpm heartbeat-pils-2.1.4-12.el6.x86_64.rpm heartbeat-stonith-2.1.4-12.el6.x86_64.rpm   （注意这里安装是有先后关系的）
        4.在web1上的heartbeat软件目录复制到web2上
           #scp -r heartbeat web2:/root
        5.在web2上执行相同的安装操作（记得解决依赖关系）
        6.heartbeat在/etc/ha.d/目录下没有配置文件，样本配置文件在/usr/share/doc/heartbeat-2.1.4 目录下
           #cp /usr/share/doc/heartbeat-2.1.4/{ha.cf,authkeys,haresources}  /etc/ha.d/
        7.编辑节点认证文件（设置认证机制和密钥，这个文件必须是600或400权限）
           #vim /etc/ha.d/authkeys
                    auth 2
                    2 shal 密钥
            #chmod 600 /etc/ha.d/authkeys
         8.用openssl命令生成一个随机数当做密钥
            #openssl rand -base64 20
         9.编辑主配置文件
             #vim /etc/ha.d/ha.cf
                     logfile /var/log/ha-log  
                     keepalive 1  ###1秒完成一次心跳检测
                     deadtime 8  ###死亡时间 在8s内还是无法收到心跳信息，立即kill
                     warntime 3  ###延长时间
                     mcast eth0 255.0.1.1 694 1 0  ###bcast 广播  mcast 组播  ucast 单播
                     auto_failback on                     ###自动故障转移
                     node web1.luochen.com       ###添加节点
                     node web2.luochen.com
                     ping 172.16.0.1                        ###仲裁设备
                     compression bz2                      ###采用压缩算法传送心跳检测信息
                     compression_threshold 2         ###2k以下不采取压缩
          10.编辑资源管理器文件
               #vim /etc/ha.d/haresources
                   定义主节点：
                          web1.luochen.com 192.168.10.118/24/eth0 httpd      ###两个资源 VIP和 httpd
           11.将三个文件复制到所有的节点上
                #scp -p authkeys haresources ha.cf  web2.luochen.com:/etc/ha.d/     ###-p 保持文件的属性
           12.在web1和web2上配置web服务
                #yum -y install httpd
                #echo "web1 server " > /var/www/html/index.html
                #service httpd start
                #curl http://192.168.10.111     ###测试服务是否正常启动
                #service httpd stop                 ###服务一定不能开机自动启动，只能由heartbeat的资源管理器来启动
                #chkconfig httpd off
            13.启动heartbeat服务（在web1上）
                 #service heartbeat start
                 #ssh web2.luochen.com 'service heartbeat start'     ###启动web2上的heartbeat服务
             14.查看web1上的日志文件看heartbeat服务是否正常启动
                  #tail -40 /var/log/ha-log
六、测试
       1.在宿主机上测试访问VIP（192.168.10.118）
       2.在web2 上停止web1的heartbeat的服务
          #ssh web1.luochen.com 'service heartbeat stop'

       3.在宿主上再次刷新看页面是否变化（如果改变了，证明故障时资源会自动进行转移）
七、在web3（192.168.10.114）上提供共享存储
       1.建立一个共享目录
          # mkdir -pv /www/htdocs
          #echo "<h1>nfs server page</h1>" > /www/htdocs/index.html
          #vim /etc/exports
                 /www/htdocs  192.168.10.0/24(rw)
          #setfacl -m u:apache:rwx /www/htdocs
          #service nfs start
       2.修改web1上haresources 配置文件
           #service heartbeat stop
           #ssh web1.luochen.com 'service heartbeat stop'
           #vim /etc/ha.d/haresources
web1.luochen.com 192.168.10.118/24/eth0 Filesystem::192.168.10.114:/www/htdocs::/var/www/html::nfs  httpd      
       3.重新启动两个节点上的heartbeat服务
           #service heartbeat start
           #ssh web2.luochen.com 'service heartbeat start'
        4.最后就是测试了。。。。（这里因为已经做过实验，步骤是直接默写出来的所以没有贴图）