32433221 发表于 2016-10-19 10:06:23

给redis cluster集群加上认证功能

给redis cluster集群加上认证功能
【下面以最常用的3台主机6个实例这种架构来搭建redis集群】

首先搭建并启动最基本的环境:
#node1上redis-server /usr/local/redis_cluster/7000/redis.confredis-server /usr/local/redis_cluster/7001/redis.conf
#node2上redis-server /usr/local/redis_cluster/7003/redis.confredis-server /usr/local/redis_cluster/7004/redis.conf
#node3上redis-server /usr/local/redis_cluster/7006/redis.confredis-server /usr/local/redis_cluster/7007/redis.conf
然后在任意节点上执行创建cluster:
redis-trib.rb create --replicas 1192.168.2.11:7000 192.168.2.11:7001 192.168.2.12:7003 192.168.2.12:7004192.168.2.13:7006 192.168.2.13:7007

然后,我们登录到node1执行下面的操作
# redis-cli -h 192.168.2.11 -p 7000 -c
> config set masterauth abc
> config set requirepass abc
> config rewrite
这几步操作完成后,就完成了添加密码的操作。密码是abc。

注意事项:
1.如果是使用redis-trib.rb工具构建集群,集群构建完成前不要配置密码,集群构建完毕再通过config set + config rewrite命令逐个机器设置密码
2.如果对集群设置密码,那么requirepass和masterauth都需要设置,否则发生主从切换时,就会遇到授权问题,可以模拟并观察日志
3.各个节点的密码都必须一致,否则Redirected就会失败


各个节点都完成上面的3条config操作后,在redis-cli命令行里再执行shutdown安全的关闭redis。

关闭后,我们再次启动各个节点的redis服务,然后试下redis-cli -h 192.168.2.11 -p 7000 -c就会发现执行命令提示没有认证的字样了,
只有执行# redis-cli-h 192.168.2.11 -p 7000 -c -a 'abc'这样带认证的才能成功登陆到redis上。

此外,我们看下各节点的redis.conf,可以发现最后多了3行内容,如下:

我后来再次实验中好像发现slave节点的这2条认证的配置丢失了,导致redis-trib.rb check时候发现无法连接到部分主机。如果出现这种情况的话,手动编辑redis.conf将上面的认证参数加进去,重启redis即可。

做到这里还不够,现在我们执行redis-trib.rb check192.168.2.11:7001 检查集群状态的话,会报错如下图:

这是因为我们给redis配置密码导致的redis-trib.rb无法登陆,还要做如下修改:
vi /usr/local/ruby/lib/ruby/gems/2.3.0/gems/redis-3.3.1/lib/redis/client.rb


带密码认证的redis停止的脚本:
#node1上redis-cli-h 192.168.2.11 -p 7000 -c -a abc shutdownredis-cli-h 192.168.2.11 -p 7001 -c -a abc shutdown
#node2上redis-cli-h 192.168.2.12 -p 7003 -c -a abc shutdownredis-cli-h 192.168.2.12 -p 7004 -c -a abc shutdown
#node3上redis-cli-h 192.168.2.13 -p 7006 -c -a abc shutdownredis-cli-h 192.168.2.13 -p 7007 -c -a abc shutdown
这样的话,基本上后端的redis集群就配置好了,我们可以再在前段加个负载均衡设备试试看。下面以haproxy为例(在另外一台192.168.2.10的机器上做的)。
haproxy.cfg内容如下:
global   chroot      /var/lib/haproxy   pidfile   /var/run/haproxy.pid   maxconn   4000   user      haproxy   group       haproxy   daemon
   stats socket /var/lib/haproxy/stats
defaults    mode                  tcp   option               dontlognull   option http-server-close   option                  redispatch   retries               3   timeout http-request    10s   timeout queue         1m   timeout connect         10s   timeout client          1m   timeout server          1m   timeout http-keep-alive 10s   timeout check         10s   maxconn               3000
listen stats   mode http   bind 0.0.0.0:1080   stats enable   stats hide-version   stats uri   /haproxy_status   stats realm   Haproxy\ Statistics   stats auth    admin:admin   stats admin if TRUE
listen redis    bind 0.0.0.0:6379    mode tcp    balance    roundrobin    server c1   192.168.2.11:7000 check    server c2   192.168.2.11:7001 check    server c3   192.168.2.12:7003 check    server c4   192.168.2.12:7004 check    server c6   192.168.2.13:7006 check    server c7   192.168.2.13:7007 check
启动haproxy后,我们在window上使用redis-desktop-manager来连接haproxy的6379端口,用户名root密码abc,可以试试往redis集群存数据或者获取数据,可以看到是没事啥问题的。

测试了下,实际上我们haproxy上对redis调度上下线没什么用,因为redis cluster当前节点查不到数据是自动跳到对应的节点的,如果后端没宕机的话,它仍然会切换的。


试验中,发现一句巨大的问题。我多次重启redis集群后,发现node3上有时候竟然运行的是同一个主从复制关系。也就是说node3宕机的话,整个集群数据就不完整了,因此我们最好还是找6台独立的主机做redis cluster集群使用。


有空再补上php结合redis cluster的笔记,php支持redis cluster的资料不多,带认证功能的暂时没找到资料,还有些问题没搞定。


页: [1]
查看完整版本: 给redis cluster集群加上认证功能