redis3.0.2 分布式集群安装详细步骤
版本历史时间版本说明编写者
2015-06-51.0redis3.0.2 分布式集群安装详细步骤csc
一: redis cluster介绍篇1:redis cluster的现状目前redis支持的cluster特性(已亲测):1):节点自动发现2):slave->master 选举,集群容错3):Hot resharding:在线分片4):进群管理:cluster xxx5):基于配置(nodes-port.conf)的集群管理6):ASK 转向/MOVED 转向机制.2:redis cluster 架构1)redis-cluster架构图 架构细节:(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.(2)节点的fail是通过集群中超过半数的节点检测失效时才生效.(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可(4)redis-cluster把所有的物理节点映射到slot上,cluster 负责维护node<->slot<->value2) redis-cluster选举:容错 (1)领着选举过程是集群中所有master参与,如果半数以上master节点与master节点通信超过(cluster-node-timeout),认为当前master节点挂掉.(2):什么时候整个集群不可用(cluster_state:fail),当集群不可用时,所有对集群的操作做都不可用，收到((error)CLUSTERDOWN The cluster is down)错误 a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成进群的slot映射不完成时进入fail状态. b:如果进群超过半数以上master挂掉，无论是否有slave集群进入fail状态.
二.Redis集群安装篇(centos5.8X64系统)
（要让集群正常工作至少需要3个主节点，在这里我们要创建6个redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下）
127.0.0.1:7000127.0.0.1:7001127.0.0.1:7002127.0.0.1:7003127.0.0.1:7004127.0.0.1:7005
1：下载redis。官网下载3.0.0版本，之前2.几的版本不支持集群模式下载地址：http://download.redis.io/releases/redis-3.0.2.tar.gz
2：上传服务器，解压，编译tar -zxvf redis-3.0.2.tar.gz.tar.gz mv redis-3.0.2.tar.gz.tar.gz redis3.0cd /usr/local/redis3.0makemake install
3：创建集群需要的目录mkdir -p /usr/local/clustercd /usr/local/clustermkdir 7000mkdir 7001mkdir 7002mkdir 7003mkdir 7004mkdir 7005
4：修改配置文件redis.confcp /usr/local/redis3.0/redis.conf/usr.local/clustervi redis.conf##修改配置文件中的下面选项port 7000daemonize yescluster-enabled yescluster-config-file nodes.confcluster-node-timeout 5000appendonly yes##修改完redis.conf配置文件中的这些配置项之后把这个配置文件分别拷贝到7000/7001/7002/7003/7004/7005目录下面cp /usr/local/cluster/redis.conf/usr/local/cluster/7000cp /usr/local/cluster/redis.conf/usr/local/cluster/7001cp /usr/local/cluster/redis.conf /usr/local/cluster/7002cp /usr/local/cluster/redis.conf/usr/local/cluster/7003cp /usr/local/cluster/redis.conf/usr/local/cluster/7004cp /usr/local/cluster/redis.conf/usr/local/cluster/7005
##注意：拷贝完成之后要修改7001/7002/7003/7004/7005目录下面redis.conf文件中的port参数，分别改为对应的文件夹的名称
5：分别启动这6个redis实例cd /usr/local/cluster/7000redis-server redis.conf
cd /usr/local/cluster/7001redis-server redis.conf
cd /usr/local/cluster/7002redis-server redis.conf
cd /usr/local/cluster/7003redis-server redis.conf
cd /usr/local/cluster/7004redis-server redis.conf
cd /usr/local/cluster/7005redis-server redis.conf
##启动之后使用命令查看redis的启动情况ps -ef|grep redis如下显示则说明启动成功 # ps -ef|grepredisroot 13703 10 10:03 ? 00:00:00 redis-server *:7000 root 14015 10 10:04 ? 00:00:00 redis-server *:7002 root 14133 10 10:04 ? 00:00:00 redis-server *:7003 root 14172 10 10:04 ? 00:00:00 redis-server *:7004 root 14187 10 10:04 ? 00:00:00 redis-server *:7005 root 14323 10 10:04 ? 00:00:00 redis-server *:7001 6.升级ruby 安装gem
安装gem 需要ruby的版本在 1.8.7 以上，默认的centos5 上都是1.8.5 版本，所以首先你的升级你的ruby ，rpm -ivh http://yum.puppetlabs.com/el/5/p ... ease-5-6.noarch.rpm
yum install ruby ruby-devel rubygems rpm-build
检查 ruby 版本：#ruby-vruby 1.8.7 (2013-06-27 patchlevel 374)
是否安装rubygems：# rpm -qa|grep rubyruby-rdoc-1.8.7.374-2.el5ruby-1.8.7.374-2.el5ruby-devel-1.8.7.374-2.el5ruby-devel-1.8.7.374-2.el5ruby-mode-1.8.5-24.el5ruby-irb-1.8.7.374-2.el5ruby-libs-1.8.7.374-2.el5ruby-libs-1.8.7.374-2.el5rubygems-1.3.7-1.el5
7.gem 安装redis ruby 接口gem install redis8：执行redis的创建集群命令创建集群#redis-trib.rb的create子命令构建#--replicas 则指定了为Redis Cluster中的每个Master节点配备几个Slave节点#节点角色由顺序决定,先master之后是slave创建方式：cd /usr/local/redis3.0/src./redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005错误笔记备注：
8.1执行上面的命令的时候会报错，因为是执行的ruby的脚本，需要ruby的环境错误内容：/usr/bin/env: ruby: No suchfile or directory所以需要安装ruby的环境，这里推荐使用yum install ruby安装yum install ruby
8.2然后再执行第6步的创建集群命令，还会报错，提示缺少rubygems组件，使用yum安装
错误内容：./redis-trib.rb:24:in `require': no such file to load-- rubygems (LoadError)from ./redis-trib.rb:24yum install rubygems8.3再次执行第8步的命令，还会报错，提示不能加载redis，是因为缺少redis和ruby的接口，使用gem 安装错误内容：/usr/lib/ruby/site_ruby/1.8/rubygems/custom_require.rb:31:in`gem_original_require': no such file to load -- redis (LoadError)from/usr/lib/ruby/site_ruby/1.8/rubygems/custom_require.rb:31:in `require'from ./redis-trib.rb:25
gem install redis
8.4 再次执行第8步的命令，正常执行输入yes，然后配置完成。注意观察主从的配置：默认是前三个节点 70007001 7002 是主，后3个节点 70037004 7005 是从如果是部署在不同的服务器，请根据主从分部规则，分开在不同的服务器
至此redis集群即搭建成功！9：使用redis-cli命令进入集群环境
redis-cli -c -p 7000
三.测试篇1).检查集群状态,
# /usr/local/redis-3.0.2/src/redis-trib.rb check 127.0.0.1:7000
Connecting to node 127.0.0.1:7000: OK
Connecting to node 127.0.0.1:7005: OK
Connecting to node 127.0.0.1:7002: OK
Connecting to node 127.0.0.1:7003: OK
Connecting to node 127.0.0.1:7004: OK
Connecting to node 127.0.0.1:7001: OK
>>> Performing Cluster Check (using node 127.0.0.1:7000)
M: 6bce685c31ed91d5da07048a8e130bd2cf810690 127.0.0.1:7000
slots:0-5460 (5461 slots) master
1 additional replica(s)
S: a2ed19aaae15d625ff4279d0d8adfb812db9da29 127.0.0.1:7005
slots: (0 slots) slave
replicates af47fc62aacfe80257f820626389693e5f19598e
M: af47fc62aacfe80257f820626389693e5f19598e 127.0.0.1:7002
slots:10923-16383 (5461 slots) master
1 additional replica(s)
S: 5addc020d00fcccf8858e908b5a44d90d3c1ef8e 127.0.0.1:7003
slots: (0 slots) slave
replicates 6bce685c31ed91d5da07048a8e130bd2cf810690
S: d5278a2bf6cd50fbc171bc5e9898402cf815c0a9 127.0.0.1:7004
slots: (0 slots) slave
replicates 0a16fe3fab8a468d402071dcea9f13aac28325c2
M: 0a16fe3fab8a468d402071dcea9f13aac28325c2 127.0.0.1:7001
slots:5461-10922 (5462 slots) master
1 additional replica(s)
All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
All 16384 slots covered.
#redis-trib.rb的check子命令构建#ip:port可以是集群的任意节点./redis-trib.rb check127.0.0.1:7000 最后输出如下信息,没有任何警告或错误，表示集群启动成功并处于ok状态
2):添加新master节点(1)添加一个master节点:创建一个空节点（empty node），然后将某些slot移动到这个空节点上,这个过程目前需要人工干预a):根据端口生成配置文件(ps:establish_config.sh是我自己写的输出配置脚本)
sh establish_config.sh 6386 >conf/redis-6386.conf
b):启动节点
nohup redis-server /opt/redis/conf/redis-6386.conf> /opt/redis/logs/redis-6386.log 2>&1 &
c):加入空节点到集群add-node将一个节点添加到集群里面，第一个是新节点ip:port, 第二个是任意一个已存在节点ip:port
redis-trib.rb add-node 10.10.34.14:638610.10.34.14:6381
node:新节点没有包含任何数据，因为它没有包含任何slot。新加入的加点是一个主节点，当集群需要将某个从节点升级为新的主节点时，这个新节点不会被选中d):为新节点分配slot
redis-trib.rb reshard 10.10.34.14:6386#根据提示选择要迁移的slot数量(ps:这里选择500)How many slots do you want to move (from 1 to 16384)?500#选择要接受这些slot的node-idWhat is the receiving node ID?f51e26b5d5ff74f85341f06f28f125b7254e61bf #选择slot来源:#all表示从所有的master重新分配，#或者数据要提取slot的master节点id,最后用done结束Please enter all the source node IDs.Type 'all' touse all the nodes as source nodes for the hash slots.Type 'done'once you entered all the source nodes IDs. Source node #1:all #打印被移动的slot后，输入yes开始移动slot以及对应的数据.#Do you want to proceed with the proposed reshard plan(yes/no)? yes#结束 3):添加新的slave节点a):前三步操作同添加master一样b)第四步:redis-cli连接上新节点shell,输入命令:cluster replicate 对应master的node-id
cluster replicate 2b9ebcbd627ff0fd7a7bbcc5332fb09e72788835
note:在线添加slave 时，需要dump整个master进程，并传递到slave，再由 slave加载rdb文件到内存，rdb传输过程中Master可能无法提供服务,整个过程消耗大量io,小心操作.例如本次添加slave操作产生的rdb文件
-rw-r--r-- 1 root root 34946 Apr 17 18:23 dump-6386.rdb-rw-r--r-- 1 root root 34946 Apr 17 18:23 dump-7386.rdb
4):在线reshard 数据:对于负载/数据均匀的情况，可以在线reshard slot来解决,方法与添加新master的reshard一样，只是需要reshard的master节点是老节点.5):删除一个slave节点
#redis-trib del-node ip:port '<node-id>'redis-trib.rb del-node 10.10.34.14:7386'c7ee2fca17cb79fe3c9822ced1d4f6c5e169e378' 6):删除一个master节点
a):删除master节点之前首先要使用reshard移除master的全部slot,然后再删除当前节点(目前只能把被删除master的slot迁移到一个节点上)
#把10.10.34.14:6386当前master迁移到10.10.34.14:6380上redis-trib.rb reshard 10.10.34.14:6380#根据提示选择要迁移的slot数量(ps:这里选择500)How many slots do you want to move (from 1 to 16384)?500(被删除master的所有slot数量)#选择要接受这些slot的node-id(10.10.34.14:6380)What is the receiving node ID?c4a31c852f81686f6ed8bcd6d1b13accdc947fd2 (ps:10.10.34.14:6380的node-id)Please enter all the source node IDs.Type 'all' touse all the nodes as source nodes for the hash slots.Type 'done'once you entered all the source nodes IDs. Source node#1:f51e26b5d5ff74f85341f06f28f125b7254e61bf(被删除master的node-id)Source node #2:done #打印被移动的slot后，输入yes开始移动slot以及对应的数据.#Do you want to proceed with the proposed reshard plan(yes/no)? yes
b):删除空master节点
redis-trib.rb del-node 10.10.34.14:6386'f51e26b5d5ff74f85341f06f28f125b7254e61bf' 四:redis cluster 客户端(Jedis)1:客户端基本操作使用
<span style="color: #333333; font-family:Arial, sans-serif;"><span style="color: #333333; font-family:Arial, sans-serif;"> private static BinaryJedisCluster jc;static { //只给集群里一个实例就可以 Set<HostAndPort> jedisClusterNodes = newHashSet<HostAndPort>(); jedisClusterNodes.add(new HostAndPort("10.10.34.14",6380)); jedisClusterNodes.add(new HostAndPort("10.10.34.14",6381)); jedisClusterNodes.add(new HostAndPort("10.10.34.14",6382)); jedisClusterNodes.add(newHostAndPort("10.10.34.14", 6383)); jedisClusterNodes.add(new HostAndPort("10.10.34.14",6384)); jedisClusterNodes.add(new HostAndPort("10.10.34.14",7380)); jedisClusterNodes.add(new HostAndPort("10.10.34.14",7381)); jedisClusterNodes.add(new HostAndPort("10.10.34.14",7382)); jedisClusterNodes.add(new HostAndPort("10.10.34.14",7383)); jedisClusterNodes.add(new HostAndPort("10.10.34.14",7384)); jc = newBinaryJedisCluster(jedisClusterNodes); }@Test public voidtestBenchRedisSet() throws Exception { finalStopwatch stopwatch = new Stopwatch(); Listlist = buildBlogVideos(); for (inti = 0; i < 1000; i++) { String key = "key:" + i; stopwatch.start(); byte[] bytes1 = protostuffSerializer.serialize(list); jc.setex(key, 60 * 60, bytes1); stopwatch.stop(); } System.out.println("time="+ stopwatch.toString()); }</span></span>2:jedis客户端的坑.1)cluster环境下redis的slave不接受任何读写操作，2)client端不支持keys批量操作,不支持select dbNum操作，只有一个db:select 03)JedisCluster 的info()等单机函数无法调用,返回(No way to dispatch thiscommand to Redis Cluster)错误，.4)JedisCluster 没有针对byte[]的API，需要自己扩展(附件是我加的基于byte[]的BinaryJedisClusterapi)百度云附件：redis3.0.2 分布式集群安装详细步骤.pdf
页:
[1]