企业实战-KeepAlived+Redis+Haproxy实现主从热备、负载均衡、秒级切换

sunny03

　　最近公司生产环境需要做一个Redis+Keepalived+Haproxy的集群架构，分别用六个端口，实现多路复用，最终实现主从热备、负载均衡、秒级切换。
　　一、部署Redis集群
　　
　　首先用两台虚拟机模拟6个节点，一台机器3个节点，创建出3 master、3 salve 环
　　境。然后模拟成功，方可去线上生产服务器部署。
　　redis 采用 redis-3.2.4 版本。
　　两台虚拟机都是 CentOS ，一台 CentOS6.5 （IP:192.168.31.245），一台
　　CentOS7（IP:192.168.31.210） 。
　　安装过程
　　1. 下载并解压
cd/root/software　　

　　
wget http://download.redis.io/releases/redis-3.2.4.tar.gz
　　

　　
tar-zxvf redis-3.2.4.tar.gz　
　　2. 编译安装
cd redis-3.2.4make && make install　　3. 将 redis-trib.rb 复制到 /usr/local/bin 目录下
cd srccp redis-trib.rb /usr/local/bin/　　　4. 创建 Redis 节点
　　首先在 192.168.31.245 机器上 /root/software/redis-3.2.4 目录下创建 redis_cluster
　　目录；
mkdir redis_cluster　　在 redis_cluster 目录下，创建名为7000、7001、7002的目录，并将 redis.conf 拷贝到这三个目录中
mkdir 700070017002　　

　　
cp redis.conf redis_cluster/7000cp redis.conf redis_cluster/7001cp redis.conf redis_cluster/7002
　　分别修改这三个配置文件，修改如下内容
port  7000                            //端口7000,7002,7003　　
bind 本机ip                           //默认ip为127.0.0.1 需要改为其他节点机器可访问的ip 否则创建集群时无法访问对应的端口，无法创建集群
　　

　　
daemonize
　　
   yes      //redis后台运行pidfile
　　

　　
/var/run/redis_7000.pid          //pidfile文件对应7000,7001,7002
　　

　　
cluster-enabled  yes              //开启集群  把注释#去掉
　　

　　
cluster-config-file
　　
nodes_7000.conf   //集群的配置  配置文件首次启动自动生成
　　

　　
7000,7001,7002cluster-node-timeout  15000   //请求超时  默认15秒，可自行设置
　　

　　
appendonly  yes                       //aof日志开启
　　
有需要就开启，它会每次写操作都记
　　

　　
录一条日志
　　接着在另外一台机器上（192.168.31.210），的操作重复以上三步，只是把目录改
　　为7003、7004、7005，对应的配置文件也按照这个规则修改即可
　　5. 启动各个节点
　　第一台机器上执行（在/src目录下）
redis-server redis_cluster/7000/redis.conf　　
redis-server
　　
redis_cluster/7001/redis.conf
　　
redis-server redis_cluster/7002/redis.conf
　　另外一台机器上执行
redis-server redis_cluster/7003/redis.conf　　
redis-server redis_cluster/7004/redis.conf
　　
redis-server redis_cluster/7005/redis.conf
　　6. 检查 redis 启动情况
　　##一台机器
ps -ef | grep redis　　
root      610201002:14 ?        00:00:01 redis-server
　　
127.0.0.1:7000
　　
[cluster]    root      610241002:14 ?        00:00:01 redis-server 127.0.0.1:7001 [cluster]    root      610291002:14 ?        00:00:01 redis-server 127.0.0.1:7002 [cluster]
netstat -tnlp | grep redistcp　　
00127.0.0.1:170000.0.0.0:*                 LISTEN      61020/redis-server tcp        00127.0.0.1:170010.0.0.0:*                 LISTEN      61024/redis-server tcp        00127.0.0.1:170020.0.0.0:*                 LISTEN      61029/redis-server
　　
tcp        00127.0.0.1:70000.0.0.0:*                   LISTEN      61020/redis-server tcp        00127.0.0.1:70010.0.0.0:*                   LISTEN      61024/redis-server tcp
　　
00127.0.0.1:70050.0.0.0:*                    LISTEN      9971/redis-server 1
　　##另外一台机器
ps -ef | grep redisroot　　
99571002:32 ?        00:00:01 redis-server 127.0.0.1:7003 [cluster]root       99641002:32 ?        00:00:01 redis-server
　　
127.0.0.1:7004 [cluster]root       99711002:32 ?        00:00:01 redis-server 127.0.0.1:7005 [cluster]root      100654744002:38 pts/000:00:00 grep --color=auto redis
netstat -tlnp | grep redistcp        00127.0.0.1:170030.0.0.0:*          LISTEN      9957/redis-server 1tcp        00127.0.0.1:170040.0.0.0:*               LISTEN      9964/redis-server 1tcp        00127.0.0.1:170050.0.0.0:*               LISTEN      9971/redis-server 1tcp　　
00127.0.0.1:70030.0.0.0:*                  LISTEN      9957/redis-server 1tcp        00127.0.0.1:70040.0.0.0:*                 LISTEN      9964/redis-server 1tcp        00127.0.0.1:70050.0.0.0:*                 LISTEN      9971/redis-server
　　
1
　　7.创建集群
　　Redis 官方提供了 redis-trib.rb 这个工具，就在解压目录的 src 目录中，第三步中已
　　将它复制到 /usr/local/bin 目录中，可以直接在命令行中使用了。使用下面这个命令
　　完成安装。
redis-trib.rb  create  --replicas 1 192.168.31.245:7000192.168.31.245:7001192.168.31.245:7002192.168.31.210:7003192.168.31.210:7004192.168.31.210:7005　　其中，前三个 ip:port 为第一台机器的节点，剩下三个为第二台机器。等等，出错了。这个工具是用 ruby 实现的，所以需要安装 ruby。安装命令如下：
yum -y installruby ruby-devel rubygems rpm-build　　

　　
gem installredis
　　之后再运行 redis-trib.rb 命令，会出现如下提示：

　　输入 yes 即可，然后出现如下内容，说明安装成功。

　　8. 集群验证
　　在第一台机器上连接集群的7002端口的节点，在另外一台连接7005节点，连接方式为 redis-cli
　　-h 192.168.31.245 -c -p 7002  ,加参数 -C 可连接到集群，因为上面 redis.conf 将
　　bind 改为了ip地址，所以 -h 参数不可以省略。
　　在7005节点执行命令  set hello world ，执行结果如下：

　　在另外一台7002端口，查看 key 为 hello 的内容， get hello  ，执行结果如下：

　　说明集群成功
　　简单说一下原理
　　redis cluster在设计的时候，就考虑到了去中心化，去中间件，也就是说，集群中的
　　每个节点都是平等的关系，都是对等的，每个节点都保存各自的数据和整个集群的
　　状态。每个节点都和其他所有节点连接，而且这些连接保持活跃，这样就保证了
　　我们只需要连接集群中的任意一个节点，就可以获取到其他节点的数据。
　　Redis 集群没有并使用传统的一致性哈希来分配数据，而是采用另外一种叫做哈希槽
　　(hash slot)的方式来分配的。redis cluster 默认分配了 16384 个slot，当我们set一个
　　key 时，会用CRC16算法来取模得到所属的slot，然后将这个key 分到哈希槽区间的节点上，
　　具体算法就是：CRC16(key) % 16384。所以我们在测试的时候看到set 和 get 的时候，直接
　　跳转到了7000端口的节点。
　　Redis 集群会把数据存在一个 master 节点，然后在这个 master 和其对应的salve 之
　　间进行数据同步。当读取数据时，也根据一致性哈希算法到对应的
master 节点获取
　　数据。只有当一个master 挂掉之后，才会启动一个对应的 salve 节点，充当 master
　　。
　　需要注意的是：必须要3个或以上的主节点，否则在创建集群时会失败，并且当存活的主节
　　点小于总节点数的一半时，整个集群就无法提供服务了。
　　二、部署Keepalived，实现主从热备、秒级切换
　　
　　redis1：192.168.9.70
　　redis2：192.168.9.71
　　VIP地址：192.168.9.91
　　1、安装keepalived
yum install keepalived　　2、修改配置文件
　　redis1：
[root@master ~]# cat /etc/keepalived/keepalived.conf　　
/bin/bash: Configuration: command not found
　　
bal_defs {
　　
   notification_email {
　　
        admin@xxxxx.com
　　
   }
　　
   notification_email_from admin@xxxx.com
　　
   smtp_server 127.0.0.1
　　
   smtp_connect_timeout 30
　　
   router_id LVS_DEVEL
　　
}
　　
vrrp_script chk_redis {
　　
    script "/etc/keepalived/chk_redis.sh"
　　
    interval 2
　　
    weight 2
　　
}
　　
vrrp_instance VI_1 {
　　
    state MASTER
　　
    interface ens160
　　
    virtual_router_id 51
　　
    priority 99
　　
    authentication {
　　
        auth_type PASS
　　
        auth_pass 1111
　　
    }
　　
    track_script {
　　
        chk_redis
　　
    }
　　
    virtual_ipaddress {
　　
        192.168.9.91
　　
    }
　　
    notify_backup "/etc/init.d/redis restart"
　　
    notify_fault "/etc/init.d/redis stop"
　　
}
　　redis2:
[root@node1 ~]# cat /etc/keepalived/keepalived.conf　　
/bin/bash: Configuration: command not found
　　
bal_defs {
　　
   notification_email {
　　
        admin@xxxxx.com
　　
   }
　　
   notification_email_from admin@xxxx.com
　　
   smtp_server 127.0.0.1
　　
   smtp_connect_timeout 30
　　
   router_id LVS_DEVEL
　　
}
　　
vrrp_script chk_redis {
　　
    script "/etc/keepalived/chk_redis.sh"
　　
    interval 2
　　
    weight 2
　　
}
　　
vrrp_instance VI_1 {
　　
    state MASTER
　　
    interface ens160
　　
    virtual_router_id 51
　　
    priority 99
　　
    authentication {
　　
        auth_type PASS
　　
        auth_pass 1111
　　
    }
　　
    track_script {
　　
        chk_redis
　　
    }
　　
    virtual_ipaddress {
　　
        192.168.9.91
　　
    }
　　
    notify_backup "/etc/init.d/redis restart"
　　
    notify_fault "/etc/init.d/redis stop"
　　
}
　　redis_chk.sh：
[root@node1 ~]# cat /etc/keepalived/redis_chk.sh　　
#!/bin/bash
　　
if [ $(ps -ef| grep -v grep | grep :7000 | wc -l) -eq 0 ];then
　　
    /etc/init.d/redis7000 start
　　
fi
　　
if [ $(ps -ef| grep -v grep | grep :7001 | wc -l) -eq 0 ];then
　　
    /etc/init.d/redis7001 start
　　
fi
　　
if [ $(ps -ef| grep -v grep | grep :7002 | wc -l) -eq 0 ];then
　　
    /etc/init.d/redis7002 start
　　
fi
　　3、开启服务、验证是否有VIP地址
[root@node1 ~]# systemctl restart keepalived　　
[root@node1 ~]# ip addr show dev ens160
　　
2: ens160:  mtu 1500 qdisc mq state UP qlen 1000
　　
    link/ether 00:50:56:94:7b:cd brd ff:ff:ff:ff:ff:ff
　　
    inet 192.168.9.71/24 brd 192.168.9.255 scope global ens160
　　
       valid_lft forever preferred_lft forever
　　
    inet 192.168.9.91/32 scope global ens160
　　
       valid_lft forever preferred_lft forever
　　
    inet6 fe80::250:56ff:fe94:7bcd/64 scope link
　　
       valid_lft forever preferred_lft forever
　　三、部署haproxy，实现访问6379端口时，轮询访问六个节点
下载haproxy-1.7.0　　
wget -P /usr/local/src http://www.haproxy.org/download/1.7/src/haproxy-1.7.0.tar.gz
安装 haproxy 日志记录支持　　
yum -y install rsyslog
　　
解压 haproxy-1.7.0.tar.gz
　　
tar -xvf /usr/local/src/haproxy-1.7.0.tar.gz -C /usr/local/src/
　　
cd /usr/local/src/haproxy-1.7.0
　　
make TARGET=linux31 PREFIX=/usr/local/haproxy
　　
make install PREFIX=/usr/local/haproxy
　　
创建文件夹haproxy
　　
mkdir -pv /usr/local/haproxy/{conf,run,log}
　　创建haproxy 启动脚本
vim /etc/init.d/haproxy　　
#! /bin/bash
　　
# chkconfig: - 85 15
　　
# description: haproxy is a World Wide Web server. It is used to serve
　　
PROGDIR=/usr/local/haproxy
　　
PROGNAME=haproxy
　　
DAEMON=$PROGDIR/sbin/$PROGNAME
　　
CONFIG=$PROGDIR/conf/$PROGNAME.conf
　　
PIDFILE=$PROGDIR/run/$PROGNAME.pid
　　
DESC="HAProxy daemon"
　　
SCRIPTNAME=/usr/local/haproxy/init.d/$PROGNAME
　　
# Gracefully exit if the package has been removed.
　　
test -x $DAEMON || exit 0
　　
start()
　　
{
　　
    echo -n "Starting $DESC: $PROGNAME"
　　
   $DAEMON -f $CONFIG
　　
   echo "."
　　
        }
　　
stop()
　　
{  echo -n "Stopping $DESC: $PROGNAME"
　　
    cat $PIDFILE | xargs kill
　　
    echo "."
　　
}
　　

　　
reload()
　　
{ echo -n "reloading $DESC: $PROGNAME"
　　
   $DAEMON -f $CONFIG -p $PIDFILE -sf $(cat $PIDFILE)
　　
}
　　
case "$1" in
　　
  start)
　　
  start
　　
  ;;
　　
stop)
　　
  stop
　　
   ;;
　　
  restart)
　　
   stop
　　
   start
　　
    ;;
　　
reload)
　　
reload
　　
   ;;
　　
*)
　　
echo "Usage: $SCRIPTNAME {start|stop|restart|reload}" >&2
　　
exit 1
　　
;;
　　
esac
　　
exit 0
　　
1
chmod +x  /etc/init.d/haproxy # 可执行权限　　创建haproxy.conf
vim /usr/local/haproxy/conf/haproxy.confglobal　　
log 127.0.0.1   local0
　　
log 127.0.0.1  local1 notice
　　
#log loghost    local0 info
　　
maxconn 50000
　　
chroot  /usr/local/haproxy
　　
uid 99
　　
gid 99
　　
daemon
　　
nbproc 2
　　
pidfile  /usr/local/haproxy/run/haproxy.pid
　　
#debug
　　
#quiet
　　

　　
defaults
　　
log     global
　　
                mode    tcp
　　
                option  tcplog
　　
option  dontlognull
　　
option  forwardfor
　　
option  redispatch
　　
retries 3
　　
timeout connect     3000
　　
timeout client      50000
　　
timeout server 50000
　　
listen admin_stat
　　
        bind 0.0.0.0:8888
　　
        mode http
　　
        stats refresh 30s
　　
        stats uri /admin?stats
　　
        stats realm Haproxy\ Statistics
　　
        stats auth admin:admin
　　
        stats enable
　　
listen  redis
　　
        bind *:6379
　　
        mode tcp
　　
        balance roundrobin
　　
        server redis1  192.168.9.70:7000 check
　　
        server redis2 192.168.9.70:7001 check
　　
        server redis3 192.168.9.70:7002 check
　　
        server redis4 192.168.9.71:7003 check
　　
        server redis5 192.168.9.71:7004 check
　　
        server redis6 192.168.9.71:7005 check
　　Haproxy rsyslog 日志配置
vim /etc/rsyslog.conf#$ModLoad imudp      修改 $ModLoad imudp　　
#$UDPServerRun 514  修改 $UDPServerRun 514
　　
#添加 Haproxy  日志记录路径
　　
local0.* /usr/local/haproxy/log/haproxy.log
重启rsyslog　　
systemctl restart  rsyslog.service
　　
启动Haproxy
　　
service haproxy start
　　
加入开机启动
　　
chkconfig haproxy on
　　
查看haproxy  是否启动
　　
ps -ef | grep haproxy

haproxy 访问端口8888 账号密码 admin:admin

　　http://192.168.9.70:8888/admin?stats

　　http://192.168.1.71:8888/admin?stats

　　由此，所有的操作都完成，可以线上部署咯，O(∩_∩)O~~！！！