redis3.2.5 分布式集群安装+错误解决过程

liukaida

redis3.2.5 分布式集群安装详细步骤
　　--(centos5.X-6.X _X64系统)
　　版本历史
　　时间
　　版本
　　说明
　　编写者
　　2015-06-5
　　1.0
　　redis3.0.2 分布式集群安装详细步骤
　　崔四超
　　2016-11-25
　　1.1
　　redis3.2.5 分布式集群安装详细步骤
　　崔四超
一: redis cluster介绍篇
1:redis cluster的现状
　　目前redis支持的cluster特性(已亲测):
　　1):节点自动发现
　　2):slave->master 选举,集群容错
　　3):Hot resharding:在线分片
　　4):集群管理:cluster xxx
　　5):基于配置(nodes-port.conf)的集群管理
　　6):ASK 转向/MOVED 转向机制.
2:redis cluster 架构
　　架构细节:
　　(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.
　　(2)节点的fail是通过集群中超过半数的节点检测失效时才生效.
　　(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可
　　(4)redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护nodeslotvalue
　　2) redis-cluster选举:容错
　　(1)领着选举过程是集群中所有master参与,如果半数以上master节点与master节点通信超过(cluster-node-timeout),认为当前master节点挂掉.
　　(2):什么时候整个集群不可用(cluster_state:fail),当集群不可用时,所有对集群的操作做都不可用，收到((error)CLUSTERDOWN The cluster is down)错误
　　a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态.
　　b:如果集群超过半数以上master挂掉，无论是否有slave集群进入fail状态.
二.Redis集群安装篇(centosX64系统)
　　（要让集群正常工作至少需要3个主节点，在这里我们要创建6个redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下）
　　127.0.0.1:7001
　　127.0.0.1:7002
　　127.0.0.1:7003
　　127.0.0.1:7004
　　127.0.0.1:7005
　　127.0.0.1:7006
1：下载redis。
　　官网下载3.2.5版本，之前2.几的版本不支持集群模式
　　下载地址：http://download.redis.io/releases/redis-3.2.5.tar.gz
　　目前最新版本为：redis-3.2.5.tar.gz
2：上传服务器，解压，编译
　　tar -xvzf redis-3.2.5.tar.gz
　　cd redis-3.2.5
　　make
　　make install
3：创建集群需要的目录
　　mkdir -p /usr/local/cluster
　　cd /usr/local/cluster
　　mkdir 7001
　　mkdir 7002
　　mkdir 7003
　　mkdir 7004
　　mkdir 7005
　　mkdir 7006
4：修改配置文件redis.conf
　　cp /usr/local/redis3.2.5/redis.conf  /usr.local/cluster
　　vi redis.conf
　　##修改配置文件中的下面选项
　　port 7001
　　daemonize yes
　　cluster-enabled yes
　　cluster-config-file nodes.conf
　　cluster-node-timeout 5000
　　appendonly yes
　　##修改完redis.conf配置文件中的这些配置项之后把这个配置文件分别拷贝到7001/7002/7003/7004/7005/7006目录下面
　　cp/usr/local/cluster/redis.conf /usr/local/cluster/7001
　　cp/usr/local/cluster/redis.conf /usr/local/cluster/7002
　　cp /usr/local/cluster/redis.conf/usr/local/cluster/7003
　　cp/usr/local/cluster/redis.conf /usr/local/cluster/7004
　　cp/usr/local/cluster/redis.conf /usr/local/cluster/7005
　　cp/usr/local/cluster/redis.conf /usr/local/cluster/7006
　　##注意：拷贝完成之后要修改7002/7003/7004/7005/7006目录下面redis.conf文件中的port参数，分别改为对应的文件夹的名称
5：分别启动这6个redis实例
　　cd /usr/local/cluster/7001
　　redis-server redis.conf
　　cd /usr/local/cluster/7002
　　redis-server redis.conf
　　cd /usr/local/cluster/7003
　　redis-server redis.conf
　　cd /usr/local/cluster/7004
　　redis-server redis.conf
　　cd /usr/local/cluster/7005
　　redis-server redis.conf
　　cd /usr/local/cluster/7006
　　redis-server redis.conf
　　##启动之后使用命令查看redis的启动情况ps -ef|grep redis
　　如下显示则说明启动成功
　　# ps -ef|grep redis
　　root     13703    1  0 10:03 ?        00:00:00 redis-server *:7001 [cluster]
　　root     14015    1  0 10:04 ?        00:00:00 redis-server *:7003 [cluster]
　　root     14133    1  0 10:04 ?        00:00:00 redis-server *:7004 [cluster]
　　root     14172    1  0 10:04 ?        00:00:00 redis-server *:7005 [cluster]
　　root     14187    1  0 10:04 ?        00:00:00 redis-server *:7006 [cluster]
　　root     14323    1  0 10:04 ?        00:00:00 redis-server *:7002 [cluster]
6.升级ruby 安装gem
　　安装gem 需要ruby的版本在 1.8.7 以上，默认的centos5 上都是1.8.5 版本，所以首先你的升级你的ruby ，
　　rpm -ivh http://yum.puppetlabs.com/el/5/products/x86_64/puppetlabs-release-5-6.noarch.rpm
　　yum install  -y   ruby ruby-devel rubygems rpm-build
　　检查 ruby 版本：
　　#ruby  -v
　　ruby 1.8.7 (2013-06-27patchlevel 374) [x86_64-linux]
　　是否安装rubygems：
　　# rpm -qa|grep ruby
　　ruby-rdoc-1.8.7.374-2.el5
　　ruby-1.8.7.374-2.el5
　　ruby-devel-1.8.7.374-2.el5
　　ruby-devel-1.8.7.374-2.el5
　　ruby-mode-1.8.5-24.el5
　　ruby-irb-1.8.7.374-2.el5
　　ruby-libs-1.8.7.374-2.el5
　　ruby-libs-1.8.7.374-2.el5
　　rubygems-1.3.7-1.el5
7.gem 安装redis ruby 接口
　　geminstall redis （安装的redis 驱动版本为3.3.2 ,执行redis-trib.rb  create --replicas XXX  后期会报错,后面会提到解决方法）
8：执行redis的创建集群命令创建集群
　　#redis-trib.rb的create子命令构建
　　#--replicas 则指定了为Redis Cluster中的每个Master节点配备几个Slave节点
　　#节点角色由顺序决定,先master之后是slave
创建方式：
　　cd /usr/local/redis3.0/src
　　./redis-trib.rb  create --replicas 1 127.0.0.1:7001 127.0.0.1:7002127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006
##错误笔记备注：
　　8.1执行上面的命令的时候会报错，因为是执行的ruby的脚本，需要ruby的环境
　　错误内容：/usr/bin/env: ruby: No such file or directory
　　所以需要安装ruby的环境，这里推荐使用yum install ruby安装
　　yum install ruby
　　8.2然后再执行第6步的创建集群命令，还会报错，提示缺少rubygems组件，使用yum安装
　　错误内容：
　　./redis-trib.rb:24:in`require': no such file to load -- rubygems (LoadError)
　　from ./redis-trib.rb:24
　　yum install rubygems
　　8.3再次执行第8步的命令，还会报错，提示不能加载redis，是因为缺少redis和ruby的接口，使用gem 安装
　　错误内容：
　　/usr/lib/ruby/site_ruby/1.8/rubygems/custom_require.rb:31:in`gem_original_require': no such file to load -- redis (LoadError)
　　from/usr/lib/ruby/site_ruby/1.8/rubygems/custom_require.rb:31:in `require'
　　from ./redis-trib.rb:25
　　gem install redis
　　8.4 再次执行第8步的命令，正常执行
　　输入yes，然后配置完成。

　　注意观察主从的配置：
　　默认是前三个节点 7001  7002  7003 是主，
　　后3个节点 7004  7005   7006 是从
　　如果是部署在不同的服务器，请根据主从分部规则，分开在不同的服务器
##推倒重来
　　8.5 执行./redis-trib.rb create --replicas 1 报错如下：
　　Can I set the aboveconfiguration? (type 'yes' to accept): yes
　　/usr/lib/ruby/gems/1.8/gems/redis-3.2.1/lib/redis/client.rb:113:in`call': ERR Slot 10846 is already busy (Redis::CommandError)
　　出现以上报错，需要重新推倒重来，除redis.conf 文件外
　　请删除/usr/local/cluster文件下面的所有node.conf 和dump
　　并重启redis 集群服务
###报错解决
　　8.6 执行./redis-trib.rb create --replicas 1 报错如下：
　　/usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis/connection/ruby.rb:111:in`_write_to_socket': Connection timed out (Redis::TimeoutError)

　　（报错原因为：gem install redis 版本为3.3.2太高，需要降低版本）
　　备注：
　　如果是单机伪集群部署，gem install redis后，
　　执行redis-trib.rb create --replicas XXX 命令是不会报错的。
　　如果是多台服务器安装集群，必须降低版本安装redis驱动
　　否则执行redis-trib.rb create --replicas XXX报错！
　　手工下载并安装ruby redis 插件：
　　wgethttps://rubygems.global.ssl.fastly.net/gems/redis-3.2.1.gem
　　gem uninstall redis   #卸载老版本
　　gem install -l ./redis-3.2.1.gem
　　./redis-trib.rb  create --replicas 1 192.168.40.31:7001192.168.40.32:7002 192.168.40.33:7003 192.168.40.32:7004 192.168.40.33:7005192.168.40.31:7006
　　至此redis集群即搭建成功！
9：使用redis-cli命令进入集群环境
　　redis-cli -c -p 7001
三.测试篇
1).检查集群状态,
　　#redis-trib.rb的check子命令构建
　　#ip:port可以是集群的任意节点
　　./redis-trib.rb check  127.0.0.1:7001
　　最后输出如下信息,没有任何警告或错误，表示集群启动成功并处于ok状态
2):添加新master节点
　　(1)添加一个master节点:创建一个空节点（empty node），然后将某些slot移动到这个空节点上,这个过程目前需要人工干预
　　a):根据端口生成配置文件(ps:establish_config.sh是我自己写的输出配置脚本)
　　sh establish_config.sh 6386> conf/redis-6386.conf
　　b):启动节点
　　nohup redis-server/opt/redis/conf/redis-6386.conf > /opt/redis/logs/redis-6386.log 2>&1&
　　c):加入空节点到集群
　　add-node  将一个节点添加到集群里面，第一个是新节点ip:port, 第二个是任意一个已存在节点ip:port
　　redis-trib.rb add-node10.10.34.14:6386 10.10.34.14:6381
　　node:新节点没有包含任何数据，因为它没有包含任何slot。新加入的加点是一个主节点，当集群需要将某个从节点升级为新的主节点时，这个新节点不会被选中
　　d):为新节点分配slot
　　redis-trib.rb reshard10.10.34.14:6386
　　#根据提示选择要迁移的slot数量(ps:这里选择500)
　　How many slots do you wantto move (from 1 to 16384)? 500
　　#选择要接受这些slot的node-id
　　What is the receiving nodeID? f51e26b5d5ff74f85341f06f28f125b7254e61bf
　　#选择slot来源:
　　#all表示从所有的master重新分配，
　　#或者数据要提取slot的master节点id,最后用done结束

　　Please enter all the sourcenode>　　Type 'all' to use all the nodes as sourcenodes for the hash slots.

　　Type 'done' once you entered all the sourcenodes>　　Source node #1:all
　　#打印被移动的slot后，输入yes开始移动slot以及对应的数据.
　　#Do you want to proceedwith the proposed reshard plan (yes/no)? yes
　　#结束
3):添加新的slave节点
　　a):前三步操作同添加master一样
　　b)第四步:redis-cli连接上新节点shell,输入命令:cluster replicate 对应master的node-id
　　cluster replicate2b9ebcbd627ff0fd7a7bbcc5332fb09e72788835
　　note:在线添加slave 时，需要dump整个master进程，并传递到slave，再由 slave加载rdb文件到内存，rdb传输过程中Master可能无法提供服务,整个过程消耗大量io,小心操作.
　　例如本次添加slave操作产生的rdb文件
　　-rw-r--r-- 1 root root  34946 Apr 17 18:23 dump-6386.rdb
　　-rw-r--r-- 1 root root  34946 Apr 17 18:23 dump-7386.rdb
4):在线reshard 数据:
　　对于负载/数据均匀的情况，可以在线reshard slot来解决,方法与添加新master的reshard一样，只是需要reshard的master节点是老节点.
5):删除一个slave节点
　　#redis-trib del-nodeip:port ''
　　redis-trib.rb del-node10.10.34.14:7386 'c7ee2fca17cb79fe3c9822ced1d4f6c5e169e378'
　　6):删除一个master节点
　　a):删除master节点之前首先要使用reshard移除master的全部slot,然后再删除当前节点(目前只能把被删除
　　master的slot迁移到一个节点上)
　　#把10.10.34.14:6386当前master迁移到10.10.34.14:6380上
　　redis-trib.rb reshard10.10.34.14:6380
　　#根据提示选择要迁移的slot数量(ps:这里选择500)
　　How many slots do you wantto move (from 1 to 16384)? 500(被删除master的所有slot数量)
　　#选择要接受这些slot的node-id(10.10.34.14:6380)
　　What is the receiving nodeID? c4a31c852f81686f6ed8bcd6d1b13accdc947fd2 (ps:10.10.34.14:6380的node-id)

　　Please enter all the sourcenode>　　Type 'all' to use all the nodes as sourcenodes for the hash slots.

　　Type 'done' once you entered all the sourcenodes>　　Source node#1:f51e26b5d5ff74f85341f06f28f125b7254e61bf(被删除master的node-id)
　　Source node #2:done
　　#打印被移动的slot后，输入yes开始移动slot以及对应的数据.
　　#Do you want to proceedwith the proposed reshard plan (yes/no)? yes
　　b):删除空master节点
　　redis-trib.rb del-node10.10.34.14:6386 'f51e26b5d5ff74f85341f06f28f125b7254e61bf'
四:redis cluster 客户端(Jedis)
1:客户端基本操作使用
　　 private staticBinaryJedisCluster jc;
　　static {
　　//只给集群里一个实例就可以
　　SetjedisClusterNodes = new HashSet();
　　jedisClusterNodes.add(newHostAndPort("10.10.34.14", 6380));
　　jedisClusterNodes.add(newHostAndPort("10.10.34.14", 6381));
　　jedisClusterNodes.add(newHostAndPort("10.10.34.14", 6382));
　　jedisClusterNodes.add(newHostAndPort("10.10.34.14", 6383));
　　jedisClusterNodes.add(newHostAndPort("10.10.34.14", 6384));
　　jedisClusterNodes.add(newHostAndPort("10.10.34.14", 7380));
　　jedisClusterNodes.add(newHostAndPort("10.10.34.14", 7381));
　　jedisClusterNodes.add(newHostAndPort("10.10.34.14", 7382));
　　jedisClusterNodes.add(newHostAndPort("10.10.34.14", 7383));
　　jedisClusterNodes.add(newHostAndPort("10.10.34.14", 7384));
　　jc = newBinaryJedisCluster(jedisClusterNodes);
　　}
　　@Test
　　public void testBenchRedisSet() throwsException {
　　final Stopwatch stopwatch = newStopwatch();
　　List list = buildBlogVideos();
　　for (int i = 0; i < 1000; i++){
　　String key = "key:" +i;
　　stopwatch.start();
　　byte[] bytes1 =protostuffSerializer.serialize(list);
　　jc.setex(key, 60 * 60,bytes1);
　　stopwatch.stop();
　　}
　　System.out.println("time=" +stopwatch.toString());
　　}
2:jedis客户端的坑.
　　1)cluster环境下redis的slave不接受任何读写操作，
　　2)client端不支持keys批量操作,不支持select dbNum操作，只有一个db:select 0
　　3)JedisCluster 的info()等单机函数无法调用,返回(No way to dispatch thiscommand to Redis Cluster)错误，.
　　4)JedisCluster 没有针对byte[]的API，需要自己扩展(附件是我加的基于byte[]的BinaryJedisCluster  api)