redis3.0.2 分布式集群安装详细步骤

jy166102

• redis3.0.2 分布式集群安装详细步骤
  

　　--(centos5.8 X64系统)
　　版本历史
　　时间
　　版本
　　说明
　　编写者
　　2015-06-5
　　1.0
　　redis3.0.2 分布式集群安装详细步骤
　　csc
一: redis cluster介绍篇
1:redis cluster的现状
　　目前redis支持的cluster特性(已亲测):
　　1):节点自动发现
　　2):slave->master 选举,集群容错
　　3):Hot resharding:在线分片
　　4):进群管理:cluster xxx
　　5):基于配置(nodes-port.conf)的集群管理
　　6):ASK 转向/MOVED 转向机制.
2:redis cluster 架构
　　1)redis-cluster架构图

　　架构细节:
　　(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.
　　(2)节点的fail是通过集群中超过半数的节点检测失效时才生效.
　　(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可
　　(4)redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护nodeslotvalue
　　2) redis-cluster选举:容错

　　(1)领着选举过程是集群中所有master参与,如果半数以上master节点与master节点通信超过(cluster-node-timeout),认为当前master节点挂掉.
　　(2):什么时候整个集群不可用(cluster_state:fail),当集群不可用时,所有对集群的操作做都不可用，收到((error)CLUSTERDOWN The cluster is down)错误
　　a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成进群的slot映射[0-16383]不完成时进入fail状态.
　　b:如果进群超过半数以上master挂掉，无论是否有slave集群进入fail状态.
二.Redis集群安装篇(centos5.8X64系统)
　　（要让集群正常工作至少需要3个主节点，在这里我们要创建6个redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下）
　　127.0.0.1:7000
　　127.0.0.1:7001
　　127.0.0.1:7002
　　127.0.0.1:7003
　　127.0.0.1:7004
　　127.0.0.1:7005
1：下载redis。
　　官网下载3.0.0版本，之前2.几的版本不支持集群模式
　　下载地址：http://download.redis.io/releases/redis-3.0.2.tar.gz
2：上传服务器，解压，编译
　　tar -zxvf redis-3.0.2.tar.gz.tar.gz
　　mv redis-3.0.2.tar.gz.tar.gz redis3.0
　　cd /usr/local/redis3.0
　　make
　　make install
3：创建集群需要的目录
　　mkdir -p /usr/local/cluster
　　cd /usr/local/cluster
　　mkdir 7000
　　mkdir 7001
　　mkdir 7002
　　mkdir 7003
　　mkdir 7004
　　mkdir 7005
4：修改配置文件redis.conf
　　cp /usr/local/redis3.0/redis.conf  /usr.local/cluster
　　vi redis.conf
　　##修改配置文件中的下面选项
　　port 7000
　　daemonize yes
　　cluster-enabled yes
　　cluster-config-file nodes.conf
　　cluster-node-timeout 5000
　　appendonly yes
　　##修改完redis.conf配置文件中的这些配置项之后把这个配置文件分别拷贝到7000/7001/7002/7003/7004/7005目录下面
　　cp /usr/local/cluster/redis.conf/usr/local/cluster/7000
　　cp /usr/local/cluster/redis.conf/usr/local/cluster/7001
　　cp /usr/local/cluster/redis.conf /usr/local/cluster/7002
　　cp /usr/local/cluster/redis.conf/usr/local/cluster/7003
　　cp /usr/local/cluster/redis.conf/usr/local/cluster/7004
　　cp /usr/local/cluster/redis.conf/usr/local/cluster/7005
　　##注意：拷贝完成之后要修改7001/7002/7003/7004/7005目录下面redis.conf文件中的port参数，分别改为对应的文件夹的名称
5：分别启动这6个redis实例
　　cd /usr/local/cluster/7000
　　redis-server redis.conf
　　cd /usr/local/cluster/7001
　　redis-server redis.conf
　　cd /usr/local/cluster/7002
　　redis-server redis.conf
　　cd /usr/local/cluster/7003
　　redis-server redis.conf
　　cd /usr/local/cluster/7004
　　redis-server redis.conf
　　cd /usr/local/cluster/7005
　　redis-server redis.conf
　　##启动之后使用命令查看redis的启动情况ps -ef|grep redis
　　如下显示则说明启动成功
　　# ps -ef|grepredis
　　root    13703     1  0 10:03 ?        00:00:00 redis-server *:7000 [cluster]
　　root    14015     1  0 10:04 ?        00:00:00 redis-server *:7002 [cluster]
　　root    14133     1  0 10:04 ?        00:00:00 redis-server *:7003 [cluster]
　　root    14172     1  0 10:04 ?        00:00:00 redis-server *:7004 [cluster]
　　root    14187     1  0 10:04 ?        00:00:00 redis-server *:7005 [cluster]
　　root    14323     1  0 10:04 ?        00:00:00 redis-server *:7001 [cluster]
6.升级ruby 安装gem
　　安装gem 需要ruby的版本在 1.8.7 以上，默认的centos5 上都是1.8.5 版本，所以首先你的升级你的ruby ，
　　rpm -ivh http://yum.puppetlabs.com/el/5/products/x86_64/puppetlabs-release-5-6.noarch.rpm
　　yum install ruby ruby-devel rubygems rpm-build
　　检查 ruby 版本：
　　#ruby  -v
　　ruby 1.8.7 (2013-06-27 patchlevel 374) [x86_64-linux]
　　是否安装rubygems：
　　# rpm -qa|grep ruby
　　ruby-rdoc-1.8.7.374-2.el5
　　ruby-1.8.7.374-2.el5
　　ruby-devel-1.8.7.374-2.el5
　　ruby-devel-1.8.7.374-2.el5
　　ruby-mode-1.8.5-24.el5
　　ruby-irb-1.8.7.374-2.el5
　　ruby-libs-1.8.7.374-2.el5
　　ruby-libs-1.8.7.374-2.el5
　　rubygems-1.3.7-1.el5
7.gem 安装redis ruby 接口
　　gem install redis
8：执行redis的创建集群命令创建集群
　　#redis-trib.rb的create子命令构建
　　#--replicas 则指定了为Redis Cluster中的每个Master节点配备几个Slave节点
　　#节点角色由顺序决定,先master之后是slave
创建方式：
　　cd /usr/local/redis3.0/src
　　./redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005
错误笔记备注：
　　8.1执行上面的命令的时候会报错，因为是执行的ruby的脚本，需要ruby的环境
　　错误内容：/usr/bin/env: ruby: No suchfile or directory
　　所以需要安装ruby的环境，这里推荐使用yum install ruby安装
　　yum install ruby
　　8.2然后再执行第6步的创建集群命令，还会报错，提示缺少rubygems组件，使用yum安装
　　错误内容：
　　./redis-trib.rb:24:in `require': no such file to load-- rubygems (LoadError)
　　from ./redis-trib.rb:24
　　yum install rubygems
　　8.3再次执行第8步的命令，还会报错，提示不能加载redis，是因为缺少redis和ruby的接口，使用gem 安装
　　错误内容：
　　/usr/lib/ruby/site_ruby/1.8/rubygems/custom_require.rb:31:in`gem_original_require': no such file to load -- redis (LoadError)
　　from/usr/lib/ruby/site_ruby/1.8/rubygems/custom_require.rb:31:in `require'
　　from ./redis-trib.rb:25
　　gem install redis
　　8.4 再次执行第8步的命令，正常执行
　　输入yes，然后配置完成。

　　注意观察主从的配置：
　　默认是前三个节点 7000  7001 7002 是主，
　　后3个节点 7003  7004   7005 是从
　　如果是部署在不同的服务器，请根据主从分部规则，分开在不同的服务器
　　至此redis集群即搭建成功！
9：使用redis-cli命令进入集群环境
　　redis-cli -c -p 7000
三.测试篇
1).检查集群状态,
　　# /usr/local/redis-3.0.2/src/redis-trib.rb check 127.0.0.1:7000
　　Connecting to node 127.0.0.1:7000: OK
　　Connecting to node 127.0.0.1:7005: OK
　　Connecting to node 127.0.0.1:7002: OK
　　Connecting to node 127.0.0.1:7003: OK
　　Connecting to node 127.0.0.1:7004: OK
　　Connecting to node 127.0.0.1:7001: OK
　　>>> Performing Cluster Check (using node 127.0.0.1:7000)
　　M: 6bce685c31ed91d5da07048a8e130bd2cf810690 127.0.0.1:7000
　　slots:0-5460 (5461 slots) master
　　1 additional replica(s)
　　S: a2ed19aaae15d625ff4279d0d8adfb812db9da29 127.0.0.1:7005
　　slots: (0 slots) slave
　　replicates af47fc62aacfe80257f820626389693e5f19598e
　　M: af47fc62aacfe80257f820626389693e5f19598e 127.0.0.1:7002
　　slots:10923-16383 (5461 slots) master
　　1 additional replica(s)
　　S: 5addc020d00fcccf8858e908b5a44d90d3c1ef8e 127.0.0.1:7003
　　slots: (0 slots) slave
　　replicates 6bce685c31ed91d5da07048a8e130bd2cf810690
　　S: d5278a2bf6cd50fbc171bc5e9898402cf815c0a9 127.0.0.1:7004
　　slots: (0 slots) slave
　　replicates 0a16fe3fab8a468d402071dcea9f13aac28325c2
　　M: 0a16fe3fab8a468d402071dcea9f13aac28325c2 127.0.0.1:7001
　　slots:5461-10922 (5462 slots) master
　　1 additional replica(s)
　　[OK] All nodes agree about slots configuration.
　　>>> Check for open slots...
　　>>> Check slots coverage...
　　[OK] All 16384 slots covered.
　　#redis-trib.rb的check子命令构建
　　#ip:port可以是集群的任意节点
　　./redis-trib.rb check  127.0.0.1:7000
　　最后输出如下信息,没有任何警告或错误，表示集群启动成功并处于ok状态
2):添加新master节点
　　(1)添加一个master节点:创建一个空节点（empty node），然后将某些slot移动到这个空节点上,这个过程目前需要人工干预
　　a):根据端口生成配置文件(ps:establish_config.sh是我自己写的输出配置脚本)
　　sh establish_config.sh 6386 >conf/redis-6386.conf
　　b):启动节点
　　nohup redis-server /opt/redis/conf/redis-6386.conf> /opt/redis/logs/redis-6386.log 2>&1 &
　　c):加入空节点到集群
　　add-node  将一个节点添加到集群里面，第一个是新节点ip:port, 第二个是任意一个已存在节点ip:port
　　redis-trib.rb add-node 10.10.34.14:638610.10.34.14:6381
　　node:新节点没有包含任何数据，因为它没有包含任何slot。新加入的加点是一个主节点，当集群需要将某个从节点升级为新的主节点时，这个新节点不会被选中
　　d):为新节点分配slot
　　redis-trib.rb reshard 10.10.34.14:6386
　　#根据提示选择要迁移的slot数量(ps:这里选择500)
　　How many slots do you want to move (from 1 to 16384)?500
　　#选择要接受这些slot的node-id

　　What is the receiving node>　　#选择slot来源:
　　#all表示从所有的master重新分配，
　　#或者数据要提取slot的master节点id,最后用done结束

　　Please enter all the source node>　　Type 'all' touse all the nodes as source nodes for the hash slots.

　　Type 'done'once you entered all the source nodes>　　Source node #1:all
　　#打印被移动的slot后，输入yes开始移动slot以及对应的数据.
　　#Do you want to proceed with the proposed reshard plan(yes/no)? yes
　　#结束
3):添加新的slave节点
　　a):前三步操作同添加master一样
　　b)第四步:redis-cli连接上新节点shell,输入命令:cluster replicate 对应master的node-id
　　cluster replicate 2b9ebcbd627ff0fd7a7bbcc5332fb09e72788835
　　note:在线添加slave 时，需要dump整个master进程，并传递到slave，再由 slave加载rdb文件到内存，rdb传输过程中Master可能无法提供服务,整个过程消耗大量io,小心操作.
　　例如本次添加slave操作产生的rdb文件
　　-rw-r--r-- 1 root root 34946 Apr 17 18:23 dump-6386.rdb
　　-rw-r--r-- 1 root root 34946 Apr 17 18:23 dump-7386.rdb
4):在线reshard 数据:
　　对于负载/数据均匀的情况，可以在线reshard slot来解决,方法与添加新master的reshard一样，只是需要reshard的master节点是老节点.
5):删除一个slave节点
　　#redis-trib del-node ip:port ''
　　redis-trib.rb del-node 10.10.34.14:7386'c7ee2fca17cb79fe3c9822ced1d4f6c5e169e378'
　　6):删除一个master节点
　　a):删除master节点之前首先要使用reshard移除master的全部slot,然后再删除当前节点(目前只能把被删除
　　master的slot迁移到一个节点上)
　　#把10.10.34.14:6386当前master迁移到10.10.34.14:6380上
　　redis-trib.rb reshard 10.10.34.14:6380
　　#根据提示选择要迁移的slot数量(ps:这里选择500)
　　How many slots do you want to move (from 1 to 16384)?500(被删除master的所有slot数量)
　　#选择要接受这些slot的node-id(10.10.34.14:6380)

　　What is the receiving node>
　　Please enter all the source node>　　Type 'all' touse all the nodes as source nodes for the hash slots.

　　Type 'done'once you entered all the source nodes>　　Source node#1:f51e26b5d5ff74f85341f06f28f125b7254e61bf(被删除master的node-id)
　　Source node #2:done
　　#打印被移动的slot后，输入yes开始移动slot以及对应的数据.
　　#Do you want to proceed with the proposed reshard plan(yes/no)? yes
　　b):删除空master节点
　　redis-trib.rb del-node 10.10.34.14:6386'f51e26b5d5ff74f85341f06f28f125b7254e61bf'
四:redis cluster 客户端(Jedis)
1:客户端基本操作使用
　　 private static BinaryJedisCluster jc;
　　static {
　　//只给集群里一个实例就可以
　　Set jedisClusterNodes = newHashSet();
　　jedisClusterNodes.add(new HostAndPort("10.10.34.14",6380));
　　jedisClusterNodes.add(new HostAndPort("10.10.34.14",6381));
　　jedisClusterNodes.add(new HostAndPort("10.10.34.14",6382));
　　jedisClusterNodes.add(newHostAndPort("10.10.34.14", 6383));
　　jedisClusterNodes.add(new HostAndPort("10.10.34.14",6384));
　　jedisClusterNodes.add(new HostAndPort("10.10.34.14",7380));
　　jedisClusterNodes.add(new HostAndPort("10.10.34.14",7381));
　　jedisClusterNodes.add(new HostAndPort("10.10.34.14",7382));
　　jedisClusterNodes.add(new HostAndPort("10.10.34.14",7383));
　　jedisClusterNodes.add(new HostAndPort("10.10.34.14",7384));
　　jc = newBinaryJedisCluster(jedisClusterNodes);
　　}
　　@Test
　　public voidtestBenchRedisSet() throws Exception {
　　finalStopwatch stopwatch = new Stopwatch();
　　Listlist = buildBlogVideos();
　　for (inti = 0; i < 1000; i++) {
　　String key = "key:" + i;
　　stopwatch.start();
　　byte[] bytes1 = protostuffSerializer.serialize(list);
　　jc.setex(key, 60 * 60, bytes1);
　　stopwatch.stop();
　　}
　　System.out.println("time="+ stopwatch.toString());
　　}
2:jedis客户端的坑.
　　1)cluster环境下redis的slave不接受任何读写操作，
　　2)client端不支持keys批量操作,不支持select dbNum操作，只有一个db:select 0
　　3)JedisCluster 的info()等单机函数无法调用,返回(No way to dispatch thiscommand to Redis Cluster)错误，.
　　4)JedisCluster 没有针对byte[]的API，需要自己扩展(附件是我加的基于byte[]的BinaryJedisCluster  api)