RabbitMQ集群与高可用部署

wred

部署环境

• 系统环境
  172.16.10.10   计算机名：node1.rabbitmq
  172.16.10.11   计算机名：node2.rabbitmq
  172.16.10.12   计算机名：node3.rabbitmq
  所有服务器操作系统为：CentOS Linux release 7.3.1611 (Core)
  hosts文件如下：
  172.16.10.10    node1.rabbitmq node1
  172.16.10.11    node2.rabbitmq node2
  172.16.10.12    node3.rabbitmq node3
  
• 软件环境
  rabbitmq部署方法：yum -y install rabbitmq-server
  rabbitmq安装版本：rabbitmq-server-3.3.5-34.el7.noarch
  
  

注意：
  部署集群要求所有节点的rabbitmq-server版本需要相同，如果是源码安装的话还要求rabbitmq-server所依赖的软件环境也要相同
集群方案
  因我们要实现集群高可用的功能，所以我们采用镜像模式，此模式下有任何一台服务器宕机不会影响正常的生产和消费，但集群内部的通讯会占用较大的带宽
部署集群
      在部署集群开始前我们还需要再次确保服务器和软件环境正确，接下来按下面步骤部署镜像集群

• 将node1节点的/var/lib/rabbitmq/.erlang.cookie复制到其它集群节点，因为各集群节点之间通讯必须共享相同的erlang cookie，这就是rabbitmq底层的工作原理。
  systemctl start rabbitmq-server
  
  scp /var/lib/rabbitmq/.erlang.cookie 172.16.10.11:/var/lib/rabbitmq/
  scp /var/lib/rabbitmq/.erlang.cookie 172.16.10.12:/var/lib/rabbitmq/
  注意：此文件是在rabbitmq-server服务第一次启动是才会生成的，并且些文件的权限为400，属主和属组为rabbitmq。所以我们需要在node1上面启动一次rabbitmq-server服务，再执行复制
  
  
• 将node2和node3节点启动，分别在node2和node3执行下面的命令
  chown rabbitmq:rabbitmq /var/lib/rabbitmq/.erlang.cookie
  systemctl start rabbitmq-server
  
• 将node2和node3加入到集群环境，分别在node2和node3执行下面命令
  rabbitmqctl stop_app
  rabbitmqctl join_cluster rabbit@node1
  rabbitmqctl start_app
  
• 验证集群配置，在集群中任意一个node上面执行下在命令，查看到的结果一样
  rabbitmqctl cluster_status（结果如下图所示）
  
  
• 在所有节点启用rabbitmq_management插件，在所有节点执行以下命令
  rabbitmq-plugins enable rabbitmq_management
  systemctl restart rabbitmq-server
  将服务加入开机自启动
  systemctl enable rabbitmq-server
  
  
  

配置HAProxy+Keepalived
      为了实现我们的RabbitMQ集群高可用，我们需要在前端加一个HAProxy来代理RabbitMQ访问，另外防止HAProxy单节点故障，所以我们使用HAProxy+Keepalived+RabbitMQ的方案来实现整套集群环境

安装HAPoryx和Keepalived
      因测试环境服务器有限，我们将HAProxy和Keepalived部署在node1和node2上面，并使用172.16.10.100为VIP，在node1和node2上面行以下命令安装
yum install haproxy keepalived
Node1的Keepalived配置

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29

! Configuration File for keepalived    global_defs {    router_id node1 }    vrrp_script chk_haproxy {     script "/etc/keepalived/haproxy_check.sh"     interval 2     weight 20 }    vrrp_instance VI_1 {     state MASTER     interface eth0     virtual_router_id 51     priority 100     advert_int 1     authentication {         auth_type PASS         auth_pass 1111     }     track_script {         chk_haproxy     }     virtual_ipaddress {         172.16.10.100/24     } }

Node2的Keepalived配置

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29

! Configuration File for keepalived    global_defs {    router_id node2 }    vrrp_script chk_haproxy {     script "/etc/keepalived/haproxy_check.sh"     interval 2     weight 20 }    vrrp_instance VI_1 {     state BACKUP     interface eth0     virtual_router_id 51     priority 90     advert_int 1     authentication {         auth_type PASS         auth_pass 1111     }     track_script {         chk_haproxy     }     virtual_ipaddress {         172.16.10.100/24     } }

haproxy_check.sh脚本配置

1 2 3 4 5 6 7 8 9 10

#!/bin/bash    A=`ps -C haproxy --no-header | wc -l` if [ $A -eq 0 ];then     haproxy -f /etc/haproxy/haproxy.cfg     sleep 2     if [ `ps -C haproxy --no-header | wc -l` -eq 0 ];then         pkill keepalived     fi fi

注意：此脚本需要有执行权限
chmod 755 /etc/keepalived/haproxy_check.sh
HAPorxy配置文件（Node1和Node2相同）