给redis cluster集群加上认证功能

32433221

给redis cluster集群加上认证功能
【下面以最常用的3台主机6个实例这种架构来搭建redis集群】

首先搭建并启动最基本的环境：

#node1上

redis-server /usr/local/redis_cluster/7000/redis.conf

redis-server /usr/local/redis_cluster/7001/redis.conf

#node2上

redis-server /usr/local/redis_cluster/7003/redis.conf

redis-server /usr/local/redis_cluster/7004/redis.conf

#node3上

redis-server /usr/local/redis_cluster/7006/redis.conf

redis-server /usr/local/redis_cluster/7007/redis.conf

然后在任意节点上执行创建cluster：

redis-trib.rb create --replicas 1192.168.2.11:7000 192.168.2.11:7001 192.168.2.12:7003 192.168.2.12:7004192.168.2.13:7006 192.168.2.13:7007

然后，我们登录到node1执行下面的操作
# redis-cli -h 192.168.2.11 -p 7000 -c
> config set masterauth abc
> config set requirepass abc
> config rewrite
这几步操作完成后，就完成了添加密码的操作。密码是abc。

注意事项：
1.如果是使用redis-trib.rb工具构建集群，集群构建完成前不要配置密码，集群构建完毕再通过config set + config rewrite命令逐个机器设置密码
2.如果对集群设置密码，那么requirepass和masterauth都需要设置，否则发生主从切换时，就会遇到授权问题，可以模拟并观察日志
3.各个节点的密码都必须一致，否则Redirected就会失败


各个节点都完成上面的3条config操作后，在redis-cli命令行里再执行shutdown安全的关闭redis。

关闭后，我们再次启动各个节点的redis服务，然后试下redis-cli -h 192.168.2.11 -p 7000 -c  就会发现执行命令提示没有认证的字样了，
只有执行# redis-cli  -h 192.168.2.11 -p 7000 -c -a 'abc'  这样带认证的才能成功登陆到redis上。

此外，我们看下各节点的redis.conf，可以发现最后多了3行内容，如下：

我后来再次实验中好像发现slave节点的这2条认证的配置丢失了，导致redis-trib.rb check时候发现无法连接到部分主机。如果出现这种情况的话，手动编辑redis.conf将上面的认证参数加进去，重启redis即可。

做到这里还不够，现在我们执行redis-trib.rb check192.168.2.11:7001 检查集群状态的话，会报错如下图：

这是因为我们给redis配置密码导致的redis-trib.rb无法登陆，还要做如下修改：
vi /usr/local/ruby/lib/ruby/gems/2.3.0/gems/redis-3.3.1/lib/redis/client.rb


带密码认证的redis停止的脚本：

#node1上

redis-cli  -h 192.168.2.11 -p 7000 -c -a abc shutdown

redis-cli  -h 192.168.2.11 -p 7001 -c -a abc shutdown

#node2上

redis-cli  -h 192.168.2.12 -p 7003 -c -a abc shutdown

redis-cli  -h 192.168.2.12 -p 7004 -c -a abc shutdown

#node3上

redis-cli  -h 192.168.2.13 -p 7006 -c -a abc shutdown

redis-cli  -h 192.168.2.13 -p 7007 -c -a abc shutdown

这样的话，基本上后端的redis集群就配置好了，我们可以再在前段加个负载均衡设备试试看。下面以haproxy为例（在另外一台192.168.2.10的机器上做的）。
haproxy.cfg内容如下：

global

   chroot      /var/lib/haproxy

   pidfile     /var/run/haproxy.pid

   maxconn     4000

   user        haproxy

   group       haproxy

   daemon

   stats socket /var/lib/haproxy/stats

defaults

    mode                    tcp

   option                 dontlognull

   option http-server-close

   option                  redispatch

   retries                 3

   timeout http-request    10s

   timeout queue           1m

   timeout connect         10s

   timeout client          1m

   timeout server          1m

   timeout http-keep-alive 10s

   timeout check           10s

   maxconn                 3000

listen stats

   mode http

   bind 0.0.0.0:1080

   stats enable

   stats hide-version

   stats uri     /haproxy_status

   stats realm   Haproxy\ Statistics

   stats auth    admin:admin

   stats admin if TRUE

listen redis

    bind 0.0.0.0:6379

    mode tcp

    balance    roundrobin

    server c1   192.168.2.11:7000 check

    server c2   192.168.2.11:7001 check

    server c3   192.168.2.12:7003 check

    server c4   192.168.2.12:7004 check

    server c6   192.168.2.13:7006 check

    server c7   192.168.2.13:7007 check

启动haproxy后，我们在window上使用redis-desktop-manager来连接haproxy的6379端口，用户名root密码abc，可以试试往redis集群存数据或者获取数据，可以看到是没事啥问题的。

测试了下，实际上我们haproxy上对redis调度上下线没什么用，因为redis cluster当前节点查不到数据是自动跳到对应的节点的，如果后端没宕机的话，它仍然会切换的。


试验中，发现一句巨大的问题。我多次重启redis集群后，发现node3上有时候竟然运行的是同一个主从复制关系。也就是说node3宕机的话，整个集群数据就不完整了，因此我们最好还是找6台独立的主机做redis cluster集群使用。


有空再补上php结合redis cluster的笔记，php支持redis cluster的资料不多，带认证功能的暂时没找到资料，还有些问题没搞定。