使用corosync +pacemaker 搭建apache HA服务

fdhfgh

　　系统版本：CentOS release 6.5
　　软件版本：pacemaker-1.1.12-4.el6.x86_64
　　              corosync-1.4.7-1.el6.x86_64
　　              httpd-2.2.15-39.el6.centos.x86_64
　　              crmsh-2.1-1.6.x86_64
　　

　　centos6.X 系统如果想要使用YUM直接安装需要添加epel源：

rpm -Uvh http://mirrors.ustc.edu.cn/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm
rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm
rpm -q epel-release

　　也可以从系统iso镜像中获得。
　　

　　然后就是进行安装前的准备工作了：

　　        1、每个节点必须使时间同步，互联网环境下可以使用 ntpdate 202.120.2.101，如果没有互联网则需要自己搭建NTP服务器了。
　　

　　       2、保证每个节点的可以通过主机名直接通信，在/etc/hosts文件中定义：
     [root@node-1 /]#cat /etc/hosts
      192.168.1.37  node-1
      192.168.1.35  node-2　　     
　　       3、每个节点必须使用SSH互信，就是不需要输密码的情况下可以互相访问：
    [root@node-1/]#ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.1.35
    [root@node-2/]#ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.1.37　　
　　    4、为了防止脑裂，请准备至少两条心跳线或启用磁盘锁。
　　       5、保证所有节点的pacemaker、corosync、httpd 软件版本都相同。
　　       6、保证所需要的配置HA的服务不会开机启动及corosync服务未启动之前启动，因为资源管理器会自动将其启动
　　

　　  
　　配置corosync：
　　       1、将/etc/corosync/下的corosync.conf.example 改名为corosync.conf      
    [root@node-1 corosync]#cp /etc/corosync/corosync.conf.example crosync.conf　　     
　　       2、使用corosync-keygen 生成秘钥文件,并自动保存到/etc/corosync/中，命名为authkey       
    [root@node-1 corosync]# ls -l authkey
     -r--------. 1 root root 128 6月  24 11:00 authkey　　

　　3、编辑 /etc/corosync 文件     
compatibility: whitetank #是否兼容老版本(1.0.8)的pacemaker
   totem {
     version: 2 #版本信息
     secauth: off #是否安全认证每一个节点
     threads: 0 #在集群信息传递时使用多少线程
          interface {
                ringnumber: 0
                bindnetaddr: 192.168.1.0 #心跳线使用的网络地址
                mcastaddr: 239.255.1.1 #多播地址
                mcastport: 5405 # 多播所使用的端口
                ttl: 1 #多播报文的TTL值为1
                     }
           }
    logging {
        fileline: off
        to_stderr: no
        to_logfile: yes #是否使用文件日志
        logfile: /var/log/cluster/corosync.log #文件日志存放路径
        to_syslog: yes #是否使用syslog 日志系统，二者选其一即可
        debug: off #是否写入debug信息
        timestamp: on #是否将每个日志都打上时间戳
        logger_subsys {
            subsys: AMF
            debug: off
                       }
   --------- 以下为可添加内容------
   service {
      ver: 0 #版本信息
      name: pacemaker #以插件方式运行pacemaker
           }
  aisexec {  #指定运行aisexec进程的用户和组
      user: root
      group:  root
          }　　

　　

　　  4、将corosync.conf和authkey 复制发往其他节点   
    scp -p authkey corosync.conf node-2:/etc/corosync/　　

　　 5、启动corsync服务     
    [root@node-1 /]# service corosync start; ssh node-2 'service corosync start'
   Starting Corosync Cluster Engine (corosync): [确定]
   Starting Corosync Cluster Engine (corosync): [确定]　　
　　6、查看日志，是否是正常输出      
   [root@node-1 /]# grep -e "Corosync Cluster Engine" -e "configuration file" /var/log/cluster/corosync.log
   Jun 24 11:05:33 corosync [MAIN  ] Corosync Cluster Engine ('1.4.7'): started and ready to provide service.
   Jun 24 11:05:33 corosync [MAIN  ] Successfully read main configuration file '/etc/corosync/corosync.conf'.
   Jun 24 15:35:47 corosync [MAIN  ] Corosync Cluster Engine exiting with status 0 at main.c:2055.
   Jun 24 15:35:57 corosync [MAIN  ] Corosync Cluster Engine ('1.4.7'): started and ready to provide service.
   Jun 24 15:35:57 corosync [MAIN  ] Successfully read main configuration file '/etc/corosync/corosync.conf'.
   Jun 24 17:38:49 corosync [MAIN  ] Corosync Cluster Engine ('1.4.7'): started and ready to provide service.
   Jun 24 17:38:49 corosync [MAIN  ] Successfully read main configuration file '/etc/corosync/corosync.conf'.
   Jun 25 10:50:45 corosync [MAIN  ] Corosync Cluster Engine ('1.4.7'): started and ready to provide service.
   Jun 25 10:50:46 corosync [MAIN  ] Successfully read main configuration file '/etc/corosync/corosync.conf'.
   [root@node-1 /]# grep pcmk_startup /var/log/cluster/corosync.log #查看pacemaker插件的启动情况
   Jun 24 11:05:33 corosync [pcmk  ] info: pcmk_startup: CRM: Initialized
   Jun 24 11:05:33 corosync [pcmk  ] Logging: Initialized pcmk_startup
   Jun 24 11:05:33 corosync [pcmk  ] info: pcmk_startup: Maximum core file size is: 18446744073709551615
   Jun 24 11:05:33 corosync [pcmk  ] info: pcmk_startup: Service: 9
   Jun 24 11:05:33 corosync [pcmk  ] info: pcmk_startup: Local hostname: node-1
   Jun 24 15:35:59 corosync [pcmk  ] info: pcmk_startup: CRM: Initialized
   Jun 24 15:35:59 corosync [pcmk  ] Logging: Initialized pcmk_startup
   Jun 24 15:35:59 corosync [pcmk  ] info: pcmk_startup: Maximum core file size is: 18446744073709551615
   Jun 24 15:35:59 corosync [pcmk  ] info: pcmk_startup: Service: 9
   Jun 24 15:35:59 corosync [pcmk  ] info: pcmk_startup: Local hostname: node-1
   Jun 24 17:38:50 corosync [pcmk  ] info: pcmk_startup: CRM: Initialized
   Jun 24 17:38:50 corosync [pcmk  ] Logging: Initialized pcmk_startup
   Jun 24 17:38:50 corosync [pcmk  ] info: pcmk_startup: Maximum core file size is: 18446744073709551615
   Jun 24 17:38:50 corosync [pcmk  ] info: pcmk_startup: Service: 9
   Jun 24 17:38:50 corosync [pcmk  ] info: pcmk_startup: Local hostname: node-1
   Jun 25 10:50:47 corosync [pcmk  ] info: pcmk_startup: CRM: Initialized
   Jun 25 10:50:47 corosync [pcmk  ] Logging: Initialized pcmk_startup
   Jun 25 10:50:47 corosync [pcmk  ] info: pcmk_startup: Maximum core file size is: 18446744073709551615
   Jun 25 10:50:47 corosync [pcmk  ] info: pcmk_startup: Service: 9
   Jun 25 10:50:47 corosync [pcmk  ] info: pcmk_startup: Local hostname: node-1
   [root@node-1 /]# crm_mon -1
   Last updated: Thu Jun 25 11:15:23 2015
   Last change: Wed Jun 24 18:06:40 2015
   Stack: classic openais (with plugin)
   Current DC: node-1 - partition with quorum #DC是哪个节点负责
   Version: 1.1.11-97629de #版本信息
   2 Nodes configured, 2 expected votes #有几个节点在集群内，集群内一共有多少法定票数
   0 Resources configured #现在运行了几个资源，刚装完，是没有资源的
   Online: [ node-1 node-2 ] #集群内的节点主机名　　

　　

　　 使用crmsh配置集群:crmsh工具在rhel/centos 6.3以后是需要额外安装的
　　       1、在系统命令行下输入crm并回车就进入crm交互界面了，可以对集群进行实时配置
　　       2、crm(live)# configure 回车进入集群配置模式
　　       3、crm(live)configure# property stonith-enabled=false #如果没有没有stonith设备的话，可以通过此命令关闭系统对此的检查
　　       4、primitive 自己取个名字 lsb:httpd op monitor interval=30s time=15s #使用httpd作为资源代理，并使用资源监控
　　       5、primitive 自己取个名字  ocf:IPaddr params ip=192.168.1.101 op monitor tmeout=20s interval=60 #配置浮动IP，并使用资源监控
　　       6、property no-quorum-policy=ignore #忽略集群对quorum的要求
　　       7、 group 自己取个组名 自己取得资源代理的名字 自己取得资源代理的名字 #将资源代理划为一个组，方便管理，并可以使资源都在一个节点内运行
　　       8、以上配置输入后，必须使用 "crm(live)configure# commit" 来提交保存配置
　　       9、使用cd .. 或 end 可以返回上级菜单
　　      10、使用 "crm(live)# status" 查看节点和资源的运行状态
      crm(live)# status
      Last updated: Thu Jun 25 11:37:07 2015
      Last change: Wed Jun 24 18:06:40 2015
      Stack: classic openais (with plugin)
      Current DC: node-1 - partition with quorum
      Version: 1.1.11-97629de
      2 Nodes configured, 2 expected votes
      2 Resources configured
      Online: [ node-1 node-2 ]
      Resource Group: webgroup
      webserver(lsb:httpd):Started node-2
      webip(ocf::heartbeat:IPaddr):Started node-2
     Failed actions:
     webserver_monitor_30000 on node-2 'not running' (7): call=11, status=complete, last-rc-change='Thu Jun 25 10:52:04 2015', queued=0ms, exec=16ms
     webserver_start_0 on node-1 'unknown error' (1): call=14, status=complete, last-rc-change='Thu Jun 25 10:51:59 2015', queued=0ms, exec=205ms　　
　　测试HA的可用性：
　　       1、查看资源是否可以正常工作
　　         
　　

　　         
　　

　　

　　2、将网卡或服务关掉，看它是否会将资源转移或尝试重新启动资源
      [root@node-1/]# ifconfig eth0 down