使用corosync +pacemaker 搭建apache HA服务

rfwer21

系统版本：CentOS release 6.5
软件版本：pacemaker-1.1.12-4.el6.x86_64
              corosync-1.4.7-1.el6.x86_64
              httpd-2.2.15-39.el6.centos.x86_64
              crmsh-2.1-1.6.x86_64


centos6.X 系统如果想要使用YUM直接安装需要添加epel源：

1	<span style="font-family:'黑体', SimHei;">rpm -Uvh http://mirrors.ustc.edu.cn/fedor ... ease-6-8.noarch.rpm<br>rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm<br>rpm -q epel-release<br></span>

也可以从系统iso镜像中获得。


然后就是进行安装前的准备工作了：

        1、每个节点必须使时间同步，互联网环境下可以使用 ntpdate 202.120.2.101，如果没有互联网则需要自己搭建NTP服务器了。


       2、保证每个节点的可以通过主机名直接通信，在/etc/hosts文件中定义：

1 2 3 4

[iyunv@node-1 /]#cat /etc/hosts              192.168.1.37  node-1       192.168.1.35  node-2

     
       3、每个节点必须使用SSH互信，就是不需要输密码的情况下可以互相访问：     

1 2	[iyunv@node-1/]#ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.1.35     [iyunv@node-2/]#ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.1.37

  
    4、为了防止脑裂，请准备至少两条心跳线或启用磁盘锁。
       5、保证所有节点的pacemaker、corosync、httpd 软件版本都相同。
       6、保证所需要的配置HA的服务不会开机启动及corosync服务未启动之前启动，因为资源管理器会自动将其启动


  
配置corosync：
       1、将/etc/corosync/下的corosync.conf.example 改名为corosync.conf      

1	[iyunv@node-1 corosync]#cp /etc/corosync/corosync.conf.example crosync.conf

     
       2、使用corosync-keygen 生成秘钥文件,并自动保存到/etc/corosync/中，命名为authkey               

1 2	[iyunv@node-1 corosync]# ls -l authkey      -r--------. 1 root root 128 6月  24 11:00 authkey

  3、编辑 /etc/corosync 文件     

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35

compatibility: whitetank #是否兼容老版本(1.0.8)的pacemaker    totem {      version: 2 #版本信息      secauth: off #是否安全认证每一个节点      threads: 0 #在集群信息传递时使用多少线程                    interface {                 ringnumber: 0                 bindnetaddr: 192.168.1.0 #心跳线使用的网络地址                 mcastaddr: 239.255.1.1 #多播地址                 mcastport: 5405 # 多播所使用的端口                 ttl: 1 #多播报文的TTL值为1                      }            }     logging {         fileline: off         to_stderr: no         to_logfile: yes #是否使用文件日志         logfile: /var/log/cluster/corosync.log #文件日志存放路径         to_syslog: yes #是否使用syslog 日志系统，二者选其一即可         debug: off #是否写入debug信息         timestamp: on #是否将每个日志都打上时间戳         logger_subsys {             subsys: AMF             debug: off                        }    --------- 以下为可添加内容------    service {       ver: 0 #版本信息       name: pacemaker #以插件方式运行pacemaker            }   aisexec {  #指定运行aisexec进程的用户和组       user: root       group:  root           }

  4、将corosync.conf和authkey 复制发往其他节点   

1	scp -p authkey corosync.conf node-2:/etc/corosync/

5、启动corsync服务     

1 2 3

[iyunv@node-1 /]# service corosync start; ssh node-2 'service corosync start'    Starting Corosync Cluster Engine (corosync): [确定]    Starting Corosync Cluster Engine (corosync): [确定]

6、查看日志，是否是正常输出      

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42

[iyunv@node-1 /]# grep -e "Corosync Cluster Engine" -e "configuration file" /var/log/cluster/corosync.log    Jun 24 11:05:33 corosync [MAIN  ] Corosync Cluster Engine ('1.4.7'): started and ready to provide service.    Jun 24 11:05:33 corosync [MAIN  ] Successfully read main configuration file '/etc/corosync/corosync.conf'.    Jun 24 15:35:47 corosync [MAIN  ] Corosync Cluster Engine exiting with status 0 at main.c:2055.    Jun 24 15:35:57 corosync [MAIN  ] Corosync Cluster Engine ('1.4.7'): started and ready to provide service.    Jun 24 15:35:57 corosync [MAIN  ] Successfully read main configuration file '/etc/corosync/corosync.conf'.    Jun 24 17:38:49 corosync [MAIN  ] Corosync Cluster Engine ('1.4.7'): started and ready to provide service.    Jun 24 17:38:49 corosync [MAIN  ] Successfully read main configuration file '/etc/corosync/corosync.conf'.    Jun 25 10:50:45 corosync [MAIN  ] Corosync Cluster Engine ('1.4.7'): started and ready to provide service.    Jun 25 10:50:46 corosync [MAIN  ] Successfully read main configuration file '/etc/corosync/corosync.conf'.        [iyunv@node-1 /]# grep pcmk_startup /var/log/cluster/corosync.log #查看pacemaker插件的启动情况    Jun 24 11:05:33 corosync [pcmk  ] info: pcmk_startup: CRM: Initialized    Jun 24 11:05:33 corosync [pcmk  ] Logging: Initialized pcmk_startup    Jun 24 11:05:33 corosync [pcmk  ] info: pcmk_startup: Maximum core file size is: 18446744073709551615    Jun 24 11:05:33 corosync [pcmk  ] info: pcmk_startup: Service: 9    Jun 24 11:05:33 corosync [pcmk  ] info: pcmk_startup: Local hostname: node-1    Jun 24 15:35:59 corosync [pcmk  ] info: pcmk_startup: CRM: Initialized    Jun 24 15:35:59 corosync [pcmk  ] Logging: Initialized pcmk_startup    Jun 24 15:35:59 corosync [pcmk  ] info: pcmk_startup: Maximum core file size is: 18446744073709551615    Jun 24 15:35:59 corosync [pcmk  ] info: pcmk_startup: Service: 9    Jun 24 15:35:59 corosync [pcmk  ] info: pcmk_startup: Local hostname: node-1    Jun 24 17:38:50 corosync [pcmk  ] info: pcmk_startup: CRM: Initialized    Jun 24 17:38:50 corosync [pcmk  ] Logging: Initialized pcmk_startup    Jun 24 17:38:50 corosync [pcmk  ] info: pcmk_startup: Maximum core file size is: 18446744073709551615    Jun 24 17:38:50 corosync [pcmk  ] info: pcmk_startup: Service: 9    Jun 24 17:38:50 corosync [pcmk  ] info: pcmk_startup: Local hostname: node-1    Jun 25 10:50:47 corosync [pcmk  ] info: pcmk_startup: CRM: Initialized    Jun 25 10:50:47 corosync [pcmk  ] Logging: Initialized pcmk_startup    Jun 25 10:50:47 corosync [pcmk  ] info: pcmk_startup: Maximum core file size is: 18446744073709551615    Jun 25 10:50:47 corosync [pcmk  ] info: pcmk_startup: Service: 9    Jun 25 10:50:47 corosync [pcmk  ] info: pcmk_startup: Local hostname: node-1        [iyunv@node-1 /]# crm_mon -1    Last updated: Thu Jun 25 11:15:23 2015    Last change: Wed Jun 24 18:06:40 2015    Stack: classic openais (with plugin)    Current DC: node-1 - partition with quorum #DC是哪个节点负责    Version: 1.1.11-97629de #版本信息    2 Nodes configured, 2 expected votes #有几个节点在集群内，集群内一共有多少法定票数    0 Resources configured #现在运行了几个资源，刚装完，是没有资源的    Online: [ node-1 node-2 ] #集群内的节点主机名

使用crmsh配置集群:crmsh工具在rhel/centos 6.3以后是需要额外安装的
       1、在系统命令行下输入crm并回车就进入crm交互界面了，可以对集群进行实时配置
       2、crm(live)# configure 回车进入集群配置模式
       3、crm(live)configure# property stonith-enabled=false #如果没有没有stonith设备的话，可以通过此命令关闭系统对此的检查
       4、primitive 自己取个名字 lsb:httpd op monitor interval=30s time=15s  #使用httpd作为资源代理，并使用资源监控
       5、primitive 自己取个名字  ocf:IPaddr params ip=192.168.1.101 op monitor tmeout=20s interval=60 #配置浮动IP，并使用资源监控
       6、property no-quorum-policy=ignore #忽略集群对quorum的要求
       7、 group 自己取个组名 自己取得资源代理的名字 自己取得资源代理的名字 #将资源代理划为一个组，方便管理，并可以使资源都在一个节点内运行
       8、以上配置输入后，必须使用 "crm(live)configure# commit" 来提交保存配置
       9、使用cd .. 或 end 可以返回上级菜单
      10、使用 "crm(live)# status" 查看节点和资源的运行状态

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

crm(live)# status       Last updated: Thu Jun 25 11:37:07 2015       Last change: Wed Jun 24 18:06:40 2015       Stack: classic openais (with plugin)       Current DC: node-1 - partition with quorum       Version: 1.1.11-97629de       2 Nodes configured, 2 expected votes       2 Resources configured       Online: [ node-1 node-2 ]              Resource Group: webgroup       webserver(lsb:httpd):Started node-2       webip(ocf::heartbeat:IPaddr):Started node-2             Failed actions:      webserver_monitor_30000 on node-2 'not running' (7): call=11, status=complete, last-rc-change='Thu Jun 25 10:52:04 2015', queued=0ms, exec=16ms      webserver_start_0 on node-1 'unknown error' (1): call=14, status=complete, last-rc-change='Thu Jun 25 10:51:59 2015', queued=0ms, exec=205ms

测试HA的可用性：
       1、查看资源是否可以正常工作
         


         




   2、将网卡或服务关掉，看它是否会将资源转移或尝试重新启动资源

1	[iyunv@node-1/]# ifconfig eth0 down