企业实战-KeepAlived+Redis+Haproxy实现主从热备、负载均衡、秒级切换
最近公司生产环境需要做一个Redis+Keepalived+Haproxy的集群架构，分别用六个端口，实现多路复用，最终实现主从热备、负载均衡、秒级切换。一、部署Redis集群
首先用两台虚拟机模拟6个节点，一台机器3个节点，创建出3 master、3 salve 环
境。然后模拟成功，方可去线上生产服务器部署。
redis 采用 redis-3.2.4 版本。
两台虚拟机都是 CentOS ，一台 CentOS6.5 （IP:192.168.31.245），一台
CentOS7（IP:192.168.31.210） 。
安装过程
1. 下载并解压
cd/root/software
wget http://download.redis.io/releases/redis-3.2.4.tar.gz
tar-zxvf redis-3.2.4.tar.gz
2. 编译安装
cd redis-3.2.4make && make install 3. 将 redis-trib.rb 复制到 /usr/local/bin 目录下
cd srccp redis-trib.rb /usr/local/bin/ 4. 创建 Redis 节点
首先在 192.168.31.245 机器上 /root/software/redis-3.2.4 目录下创建 redis_cluster
目录；
mkdir redis_cluster 在 redis_cluster 目录下，创建名为7000、7001、7002的目录，并将 redis.conf 拷贝到这三个目录中
mkdir 700070017002
cp redis.conf redis_cluster/7000cp redis.conf redis_cluster/7001cp redis.conf redis_cluster/7002
分别修改这三个配置文件，修改如下内容
port7000 //端口7000,7002,7003
bind 本机ip //默认ip为127.0.0.1 需要改为其他节点机器可访问的ip 否则创建集群时无法访问对应的端口，无法创建集群
daemonize
yes //redis后台运行pidfile
/var/run/redis_7000.pid //pidfile文件对应7000,7001,7002
cluster-enabledyes //开启集群把注释#去掉
cluster-config-file
nodes_7000.conf //集群的配置配置文件首次启动自动生成
7000,7001,7002cluster-node-timeout15000 //请求超时默认15秒，可自行设置
appendonlyyes //aof日志开启
有需要就开启，它会每次写操作都记
录一条日志
接着在另外一台机器上（192.168.31.210），的操作重复以上三步，只是把目录改
为7003、7004、7005，对应的配置文件也按照这个规则修改即可
5. 启动各个节点
第一台机器上执行（在/src目录下）
redis-server redis_cluster/7000/redis.conf
redis-server
redis_cluster/7001/redis.conf
redis-server redis_cluster/7002/redis.conf
另外一台机器上执行
redis-server redis_cluster/7003/redis.conf
redis-server redis_cluster/7004/redis.conf
redis-server redis_cluster/7005/redis.conf
6. 检查 redis 启动情况
##一台机器
ps -ef | grep redis
root 610201002:14 ? 00:00:01 redis-server
127.0.0.1:7000
root 610241002:14 ? 00:00:01 redis-server 127.0.0.1:7001 root 610291002:14 ? 00:00:01 redis-server 127.0.0.1:7002
netstat -tnlp | grep redistcp
00127.0.0.1:170000.0.0.0:* LISTEN 61020/redis-server tcp 00127.0.0.1:170010.0.0.0:* LISTEN 61024/redis-server tcp 00127.0.0.1:170020.0.0.0:* LISTEN 61029/redis-server
tcp 00127.0.0.1:70000.0.0.0:* LISTEN 61020/redis-server tcp 00127.0.0.1:70010.0.0.0:* LISTEN 61024/redis-server tcp
00127.0.0.1:70050.0.0.0:* LISTEN 9971/redis-server 1
##另外一台机器
ps -ef | grep redisroot
99571002:32 ? 00:00:01 redis-server 127.0.0.1:7003 root 99641002:32 ? 00:00:01 redis-server
127.0.0.1:7004 root 99711002:32 ? 00:00:01 redis-server 127.0.0.1:7005 root 100654744002:38 pts/000:00:00 grep --color=auto redis
netstat -tlnp | grep redistcp 00127.0.0.1:170030.0.0.0:* LISTEN 9957/redis-server 1tcp 00127.0.0.1:170040.0.0.0:* LISTEN 9964/redis-server 1tcp 00127.0.0.1:170050.0.0.0:* LISTEN 9971/redis-server 1tcp
00127.0.0.1:70030.0.0.0:* LISTEN 9957/redis-server 1tcp 00127.0.0.1:70040.0.0.0:* LISTEN 9964/redis-server 1tcp 00127.0.0.1:70050.0.0.0:* LISTEN 9971/redis-server
1
7.创建集群
Redis 官方提供了 redis-trib.rb 这个工具，就在解压目录的 src 目录中，第三步中已
将它复制到 /usr/local/bin 目录中，可以直接在命令行中使用了。使用下面这个命令
完成安装。
redis-trib.rbcreate--replicas 1 192.168.31.245:7000192.168.31.245:7001192.168.31.245:7002192.168.31.210:7003192.168.31.210:7004192.168.31.210:7005 其中，前三个 ip:port 为第一台机器的节点，剩下三个为第二台机器。等等，出错了。这个工具是用 ruby 实现的，所以需要安装 ruby。安装命令如下：
yum -y installruby ruby-devel rubygems rpm-build
gem installredis
之后再运行 redis-trib.rb 命令，会出现如下提示：
输入 yes 即可，然后出现如下内容，说明安装成功。
8. 集群验证
在第一台机器上连接集群的7002端口的节点，在另外一台连接7005节点，连接方式为 redis-cli
-h 192.168.31.245 -c -p 7002,加参数 -C 可连接到集群，因为上面 redis.conf 将
bind 改为了ip地址，所以 -h 参数不可以省略。
在7005节点执行命令set hello world ，执行结果如下：
在另外一台7002端口，查看 key 为 hello 的内容， get hello，执行结果如下：
说明集群成功
简单说一下原理
redis cluster在设计的时候，就考虑到了去中心化，去中间件，也就是说，集群中的
每个节点都是平等的关系，都是对等的，每个节点都保存各自的数据和整个集群的
状态。每个节点都和其他所有节点连接，而且这些连接保持活跃，这样就保证了
我们只需要连接集群中的任意一个节点，就可以获取到其他节点的数据。
Redis 集群没有并使用传统的一致性哈希来分配数据，而是采用另外一种叫做哈希槽
(hash slot)的方式来分配的。redis cluster 默认分配了 16384 个slot，当我们set一个
key 时，会用CRC16算法来取模得到所属的slot，然后将这个key 分到哈希槽区间的节点上，
具体算法就是：CRC16(key) % 16384。所以我们在测试的时候看到set 和 get 的时候，直接
跳转到了7000端口的节点。
Redis 集群会把数据存在一个 master 节点，然后在这个 master 和其对应的salve 之
间进行数据同步。当读取数据时，也根据一致性哈希算法到对应的
master 节点获取
数据。只有当一个master 挂掉之后，才会启动一个对应的 salve 节点，充当 master
。
需要注意的是：必须要3个或以上的主节点，否则在创建集群时会失败，并且当存活的主节
点小于总节点数的一半时，整个集群就无法提供服务了。
二、部署Keepalived，实现主从热备、秒级切换
redis1：192.168.9.70
redis2：192.168.9.71
VIP地址：192.168.9.91
1、安装keepalived
yum install keepalived 2、修改配置文件
redis1：
# cat /etc/keepalived/keepalived.conf
/bin/bash: Configuration: command not found
bal_defs {
notification_email {
admin@xxxxx.com
}
notification_email_from admin@xxxx.com
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_script chk_redis {
script "/etc/keepalived/chk_redis.sh"
interval 2
weight 2
}
vrrp_instance VI_1 {
state MASTER
interface ens160
virtual_router_id 51
priority 99
authentication {
auth_type PASS
auth_pass 1111
}
track_script {
chk_redis
}
virtual_ipaddress {
192.168.9.91
}
notify_backup "/etc/init.d/redis restart"
notify_fault "/etc/init.d/redis stop"
}
redis2:
# cat /etc/keepalived/keepalived.conf
/bin/bash: Configuration: command not found
bal_defs {
notification_email {
admin@xxxxx.com
}
notification_email_from admin@xxxx.com
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_script chk_redis {
script "/etc/keepalived/chk_redis.sh"
interval 2
weight 2
}
vrrp_instance VI_1 {
state MASTER
interface ens160
virtual_router_id 51
priority 99
authentication {
auth_type PASS
auth_pass 1111
}
track_script {
chk_redis
}
virtual_ipaddress {
192.168.9.91
}
notify_backup "/etc/init.d/redis restart"
notify_fault "/etc/init.d/redis stop"
}
redis_chk.sh：
# cat /etc/keepalived/redis_chk.sh
#!/bin/bash
if [ $(ps -ef| grep -v grep | grep :7000 | wc -l) -eq 0 ];then
/etc/init.d/redis7000 start
fi
if [ $(ps -ef| grep -v grep | grep :7001 | wc -l) -eq 0 ];then
/etc/init.d/redis7001 start
fi
if [ $(ps -ef| grep -v grep | grep :7002 | wc -l) -eq 0 ];then
/etc/init.d/redis7002 start
fi
3、开启服务、验证是否有VIP地址
# systemctl restart keepalived
# ip addr show dev ens160
2: ens160:mtu 1500 qdisc mq state UP qlen 1000
link/ether 00:50:56:94:7b:cd brd ff:ff:ff:ff:ff:ff
inet 192.168.9.71/24 brd 192.168.9.255 scope global ens160
valid_lft forever preferred_lft forever
inet 192.168.9.91/32 scope global ens160
valid_lft forever preferred_lft forever
inet6 fe80::250:56ff:fe94:7bcd/64 scope link
valid_lft forever preferred_lft forever
三、部署haproxy，实现访问6379端口时，轮询访问六个节点
下载haproxy-1.7.0
wget -P /usr/local/src http://www.haproxy.org/download/1.7/src/haproxy-1.7.0.tar.gz
安装 haproxy 日志记录支持
yum -y install rsyslog
解压 haproxy-1.7.0.tar.gz
tar -xvf /usr/local/src/haproxy-1.7.0.tar.gz -C /usr/local/src/
cd /usr/local/src/haproxy-1.7.0
make TARGET=linux31 PREFIX=/usr/local/haproxy
make install PREFIX=/usr/local/haproxy
创建文件夹haproxy
mkdir -pv /usr/local/haproxy/{conf,run,log}
创建haproxy 启动脚本
vim /etc/init.d/haproxy
#! /bin/bash
# chkconfig: - 85 15
# description: haproxy is a World Wide Web server. It is used to serve
PROGDIR=/usr/local/haproxy
PROGNAME=haproxy
DAEMON=$PROGDIR/sbin/$PROGNAME
CONFIG=$PROGDIR/conf/$PROGNAME.conf
PIDFILE=$PROGDIR/run/$PROGNAME.pid
DESC="HAProxy daemon"
SCRIPTNAME=/usr/local/haproxy/init.d/$PROGNAME
# Gracefully exit if the package has been removed.
test -x $DAEMON || exit 0
start()
{
echo -n "Starting $DESC: $PROGNAME"
$DAEMON -f $CONFIG
echo "."
}
stop()
{echo -n "Stopping $DESC: $PROGNAME"
cat $PIDFILE | xargs kill
echo "."
}
reload()
{ echo -n "reloading $DESC: $PROGNAME"
$DAEMON -f $CONFIG -p $PIDFILE -sf $(cat $PIDFILE)
}
case "$1" in
start)
start
;;
stop)
stop
;;
restart)
stop
start
;;
reload)
reload
;;
*)
echo "Usage: $SCRIPTNAME {start|stop|restart|reload}" >&2
exit 1
;;
esac
exit 0
1
chmod +x/etc/init.d/haproxy # 可执行权限 创建haproxy.conf
vim /usr/local/haproxy/conf/haproxy.confglobal
log 127.0.0.1 local0
log 127.0.0.1local1 notice
#log loghost local0 info
maxconn 50000
chroot/usr/local/haproxy
uid 99
gid 99
daemon
nbproc 2
pidfile/usr/local/haproxy/run/haproxy.pid
#debug
#quiet
defaults
log global
mode tcp
optiontcplog
optiondontlognull
optionforwardfor
optionredispatch
retries 3
timeout connect 3000
timeout client 50000
timeout server 50000
listen admin_stat
bind 0.0.0.0:8888
mode http
stats refresh 30s
stats uri /admin?stats
stats realm Haproxy\ Statistics
stats auth admin:admin
stats enable
listenredis
bind *:6379
mode tcp
balance roundrobin
server redis1192.168.9.70:7000 check
server redis2 192.168.9.70:7001 check
server redis3 192.168.9.70:7002 check
server redis4 192.168.9.71:7003 check
server redis5 192.168.9.71:7004 check
server redis6 192.168.9.71:7005 check
Haproxy rsyslog 日志配置
vim /etc/rsyslog.conf#$ModLoad imudp 修改 $ModLoad imudp
#$UDPServerRun 514修改 $UDPServerRun 514
#添加 Haproxy日志记录路径
local0.* /usr/local/haproxy/log/haproxy.log
重启rsyslog
systemctl restartrsyslog.service
启动Haproxy
service haproxy start
加入开机启动
chkconfig haproxy on
查看haproxy是否启动
ps -ef | grep haproxy
haproxy 访问端口8888 账号密码 admin:admin
http://192.168.9.70:8888/admin?stats
http://192.168.1.71:8888/admin?stats
由此，所有的操作都完成，可以线上部署咯，O(∩_∩)O~~！！！
页:
[1]