使用corosync +pacemaker 搭建apache HA服务
系统版本：CentOS release 6.5软件版本：pacemaker-1.1.12-4.el6.x86_64
corosync-1.4.7-1.el6.x86_64
httpd-2.2.15-39.el6.centos.x86_64
crmsh-2.1-1.6.x86_64
centos6.X 系统如果想要使用YUM直接安装需要添加epel源：
rpm -Uvh http://mirrors.ustc.edu.cn/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm
rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm
rpm -q epel-release
也可以从系统iso镜像中获得。
然后就是进行安装前的准备工作了：
1、每个节点必须使时间同步，互联网环境下可以使用 ntpdate 202.120.2.101，如果没有互联网则需要自己搭建NTP服务器了。
2、保证每个节点的可以通过主机名直接通信，在/etc/hosts文件中定义：
#cat /etc/hosts
192.168.1.37node-1
192.168.1.35node-2
3、每个节点必须使用SSH互信，就是不需要输密码的情况下可以互相访问：
#ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.1.35
#ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.1.37
4、为了防止脑裂，请准备至少两条心跳线或启用磁盘锁。
5、保证所有节点的pacemaker、corosync、httpd 软件版本都相同。
6、保证所需要的配置HA的服务不会开机启动及corosync服务未启动之前启动，因为资源管理器会自动将其启动
配置corosync：
1、将/etc/corosync/下的corosync.conf.example 改名为corosync.conf
#cp /etc/corosync/corosync.conf.example crosync.conf
2、使用corosync-keygen 生成秘钥文件,并自动保存到/etc/corosync/中，命名为authkey
# ls -l authkey
-r--------. 1 root root 128 6月24 11:00 authkey
3、编辑 /etc/corosync 文件
compatibility: whitetank #是否兼容老版本(1.0.8)的pacemaker
totem {
version: 2 #版本信息
secauth: off #是否安全认证每一个节点
threads: 0 #在集群信息传递时使用多少线程
interface {
ringnumber: 0
bindnetaddr: 192.168.1.0 #心跳线使用的网络地址
mcastaddr: 239.255.1.1 #多播地址
mcastport: 5405 # 多播所使用的端口
ttl: 1 #多播报文的TTL值为1
}
}
logging {
fileline: off
to_stderr: no
to_logfile: yes #是否使用文件日志
logfile: /var/log/cluster/corosync.log #文件日志存放路径
to_syslog: yes #是否使用syslog 日志系统，二者选其一即可
debug: off #是否写入debug信息
timestamp: on #是否将每个日志都打上时间戳
logger_subsys {
subsys: AMF
debug: off
}
--------- 以下为可添加内容------
service {
ver: 0 #版本信息
name: pacemaker #以插件方式运行pacemaker
}
aisexec {#指定运行aisexec进程的用户和组
user: root
group:root
}
4、将corosync.conf和authkey 复制发往其他节点
scp -p authkey corosync.conf node-2:/etc/corosync/
5、启动corsync服务
# service corosync start; ssh node-2 'service corosync start'
Starting Corosync Cluster Engine (corosync): [确定]
Starting Corosync Cluster Engine (corosync): [确定]
6、查看日志，是否是正常输出
# grep -e "Corosync Cluster Engine" -e "configuration file" /var/log/cluster/corosync.log
Jun 24 11:05:33 corosync Corosync Cluster Engine ('1.4.7'): started and ready to provide service.
Jun 24 11:05:33 corosync Successfully read main configuration file '/etc/corosync/corosync.conf'.
Jun 24 15:35:47 corosync Corosync Cluster Engine exiting with status 0 at main.c:2055.
Jun 24 15:35:57 corosync Corosync Cluster Engine ('1.4.7'): started and ready to provide service.
Jun 24 15:35:57 corosync Successfully read main configuration file '/etc/corosync/corosync.conf'.
Jun 24 17:38:49 corosync Corosync Cluster Engine ('1.4.7'): started and ready to provide service.
Jun 24 17:38:49 corosync Successfully read main configuration file '/etc/corosync/corosync.conf'.
Jun 25 10:50:45 corosync Corosync Cluster Engine ('1.4.7'): started and ready to provide service.
Jun 25 10:50:46 corosync Successfully read main configuration file '/etc/corosync/corosync.conf'.
# grep pcmk_startup /var/log/cluster/corosync.log #查看pacemaker插件的启动情况
Jun 24 11:05:33 corosync info: pcmk_startup: CRM: Initialized
Jun 24 11:05:33 corosync Logging: Initialized pcmk_startup
Jun 24 11:05:33 corosync info: pcmk_startup: Maximum core file size is: 18446744073709551615
Jun 24 11:05:33 corosync info: pcmk_startup: Service: 9
Jun 24 11:05:33 corosync info: pcmk_startup: Local hostname: node-1
Jun 24 15:35:59 corosync info: pcmk_startup: CRM: Initialized
Jun 24 15:35:59 corosync Logging: Initialized pcmk_startup
Jun 24 15:35:59 corosync info: pcmk_startup: Maximum core file size is: 18446744073709551615
Jun 24 15:35:59 corosync info: pcmk_startup: Service: 9
Jun 24 15:35:59 corosync info: pcmk_startup: Local hostname: node-1
Jun 24 17:38:50 corosync info: pcmk_startup: CRM: Initialized
Jun 24 17:38:50 corosync Logging: Initialized pcmk_startup
Jun 24 17:38:50 corosync info: pcmk_startup: Maximum core file size is: 18446744073709551615
Jun 24 17:38:50 corosync info: pcmk_startup: Service: 9
Jun 24 17:38:50 corosync info: pcmk_startup: Local hostname: node-1
Jun 25 10:50:47 corosync info: pcmk_startup: CRM: Initialized
Jun 25 10:50:47 corosync Logging: Initialized pcmk_startup
Jun 25 10:50:47 corosync info: pcmk_startup: Maximum core file size is: 18446744073709551615
Jun 25 10:50:47 corosync info: pcmk_startup: Service: 9
Jun 25 10:50:47 corosync info: pcmk_startup: Local hostname: node-1
# crm_mon -1
Last updated: Thu Jun 25 11:15:23 2015
Last change: Wed Jun 24 18:06:40 2015
Stack: classic openais (with plugin)
Current DC: node-1 - partition with quorum #DC是哪个节点负责
Version: 1.1.11-97629de #版本信息
2 Nodes configured, 2 expected votes #有几个节点在集群内，集群内一共有多少法定票数
0 Resources configured #现在运行了几个资源，刚装完，是没有资源的
Online: [ node-1 node-2 ] #集群内的节点主机名
使用crmsh配置集群:crmsh工具在rhel/centos 6.3以后是需要额外安装的
1、在系统命令行下输入crm并回车就进入crm交互界面了，可以对集群进行实时配置
2、crm(live)# configure 回车进入集群配置模式
3、crm(live)configure# property stonith-enabled=false #如果没有没有stonith设备的话，可以通过此命令关闭系统对此的检查
4、primitive 自己取个名字 lsb:httpd op monitor interval=30s time=15s #使用httpd作为资源代理，并使用资源监控
5、primitive 自己取个名字ocf:IPaddr params ip=192.168.1.101 op monitor tmeout=20s interval=60 #配置浮动IP，并使用资源监控
6、property no-quorum-policy=ignore #忽略集群对quorum的要求
7、 group 自己取个组名 自己取得资源代理的名字 自己取得资源代理的名字 #将资源代理划为一个组，方便管理，并可以使资源都在一个节点内运行
8、以上配置输入后，必须使用 "crm(live)configure# commit" 来提交保存配置
9、使用cd .. 或 end 可以返回上级菜单
10、使用 "crm(live)# status" 查看节点和资源的运行状态
crm(live)# status
Last updated: Thu Jun 25 11:37:07 2015
Last change: Wed Jun 24 18:06:40 2015
Stack: classic openais (with plugin)
Current DC: node-1 - partition with quorum
Version: 1.1.11-97629de
2 Nodes configured, 2 expected votes
2 Resources configured
Online: [ node-1 node-2 ]
Resource Group: webgroup
webserver(lsb:httpd):Started node-2
webip(ocf::heartbeat:IPaddr):Started node-2
Failed actions:
webserver_monitor_30000 on node-2 'not running' (7): call=11, status=complete, last-rc-change='Thu Jun 25 10:52:04 2015', queued=0ms, exec=16ms
webserver_start_0 on node-1 'unknown error' (1): call=14, status=complete, last-rc-change='Thu Jun 25 10:51:59 2015', queued=0ms, exec=205ms
测试HA的可用性：
1、查看资源是否可以正常工作
2、将网卡或服务关掉，看它是否会将资源转移或尝试重新启动资源
# ifconfig eth0 down
页:
[1]