使用Codis来部署Redis集群

alonli

　　一 应用场景描述
　　线上业务有使用到Redis作为缓存，但是一直都是单点应用，这样整个业务随时都有可能中断。也是之前部门遗留的历史问题。所以需要抽空时间结合业务对Redis缓存这一块作整改，避免单点故障同时提高缓存的性能。在之前的公司使用过很有名的Redis代理工具twemproxy。由于Redis是单线程服务，所以之前是通过在一台服务器上部署多个Redis实例然后通过twemproxy根据一致性哈希算法将不同的KEY分配到后端不同的Redis实例上。twemproxy可以通过HAProxy+Keepalived的方式来确保负载均衡和高可用。但是twemproxy最大的缺点就是扩展性非常低,几乎不能扩展.假设刚开始在twemproxy里面配置了6个Redis实例,那么一旦上线后,twemproxy根据算法分配KEY到后端不同的Redis实例,但是当新增或减少Redis实例后,分配原则将会被打乱,原来的KEY将会找不到.所以很多人建议在使用twemproxy来部署Redis分片集群的时候需要考虑后期的业务扩展情况,尽量多的分配Redis实例,例如一开始就分配64个Redis实例,即使在同一台服务器上也可以,然后对每个Redis实例部署从库,这样业务量增长,就可以把一些实例扩展出去,只要Redis实例的总数不变和顺序不变,那么twemproxy使用一致性哈希算法分配到后端Redis实例的规则就不变.twemproxy的监控可以使用zabbix来监控。Redis官方的Cluster方案由于长期以来都没有很多线上实际部署的案例，所以直接不用考虑了。考虑到Codis比twemproxy改进了许多，所以考虑直接使用codis来部署。Codis是由豌豆荚公司开发的Redis代理，说是在豌豆荚公司内部得到广泛应用，在国内很多公司也得到推广。
　　二 安装并测试Codis
　　本文使用Codis分支的2.0版本，也是很多公司正在用的版本，Codis3.0版本已经有分支了，但是有线上使用的用户不确定。Codis3.0可以不依赖zookeeper，dashboard和proxy直接通过HTTP方式通讯。出于稳定性考虑，我们还是用目前的版本，避免在新版本上踩坑。
　　Codis新增一个group的概念，每个group包含一个Redis Master和至少一个Redis Slave。Codis可以支持数据热迁移.Codis采用预先分片机制，分成1024个slots，也就是最多可以支持1024个Codis server,这些信息保存在zookeeper中.

　　1. 安装GO语言和编译安装codis
wget  https://storage.googleapis.com/golang/go1.5.2.linux-amd64.tar.gz　　
tar -C /usr/local -xzf go1.5.2.linux-amd64.tar.gz
　　
export PATH=$PATH:/usr/local/go/bin
　　

　　

　　
export GOPATH=$HOME/work
　　
go get -u -d github.com/CodisLabs/codis
　　
cd $GOPATH/src/github.com/CodisLabs/codis
　　
make
　　
make gotest
　　

　　

　　
export PATH=$GOPATH/bin:$PATH
　　这里需要注意的是，最好按照Codis的文档使用go get下载codis，我尝试过自己下载需要的依赖包然后编译codis，但是总是报错说是GOPATH设置不正确。这里对于初次接触GO项目编译的人来说有点诡异。
　　编译完成后会在bin目录下生成3个二进制文件
　　codis-config    Codis的管理工具，支持添加/删除Redis节点，添加/删除Proxy节点，执行Auto Rebalance等操作
　　codis-server    Codis 项目维护的一个 Redis 分支, 基于 2.8.21 开发, 加入了 slot 的支持和原子的数据迁移指令. Codis 上层的 codis-proxy 和 codis-config 只能和这个版本的 Redis 交互才能正常运行.
　　codis-proxy     是客户端连接的 Redis 代理服务, codis-proxy 本身实现了 Redis 协议, 表现得和一个原生的 Redis 没什么区别 (就像 Twemproxy), 对于一个业务来说, 可以部署多个 codis-proxy, codis-proxy 本身是无状态的.
　　Codis 支持按照 Namespace 区分不同的产品, 拥有不同的 product name 的产品, 各项配置都不会冲突
　　另外, bin/assets 文件夹是 codis-config 的 dashboard http 服务需要的前端资源, 需要和 codis-config 放置在同一文件夹下
　　2.安装和配置zookeeper
wget http://www.us.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz　　
tar zxvf zookeeper-3.4.6.tar.gz
　　
cd zookeeper-3.4.6/conf/
　　
cp zoo_sample.cfg zoo.cfg
　　
mkdir -p /tmp/zookeeper
　　
sh zkServer.sh start
　　运行zookeeper需要安装有Java
　　3.启动dashboard
　　codis-config和codis-proxy使用config.ini这个配置文件
bin/codis-config dashboard　　4.初始化slots
bin/codis-config slot init　　该命令会在zookeepr上创建slot相关信息
　　5.启动Codis Redis
　　Codis Redis和普通的Redis启动方式一样的
　　这里创建4个Codis Redis实例，两两一组
Master  172.28.2.157:26379　　
Slave   172.28.2.157:26380
　　
Master  172.28.2.157:26479
　　
Slave   172.28.2.157:26480
cp extern/redis-2.8.21/redis.conf redis26379.conf　　
cp extern/redis-2.8.21/redis.conf redis26479.conf
　　
cp extern/redis-2.8.21/redis.conf redis26380.conf
　　
cp extern/redis-2.8.21/redis.conf redis26480.conf
　　配置文件主要更改以下几点
pidfile /var/run/redis26380.pid　　
port 26380
　　
dbfilename dump26380.rdb
　　将几个Redis实例的pidfile,port和dbfilename进行区分
　　同时将26380设置成为26379的从库,26480设置成为26479的从库
slaveof localhost 26379bin/codis-server redis26379.conf　　
bin/codis-server redis26380.conf
　　
bin/codis-server redis26480.conf
　　
bin/codis-server redis26479.conf
　　6.添加Redis Server Group

　　每个Server Group就是一个Redis服务器组，包括一个Master和多个Slave，group>bin/codis-config server add 1 localhost:26379 master　　
bin/codis-config server add 1 localhost:26380 slave
　　
bin/codis-config server add 2 localhost:26479 master
　　
bin/codis-config server add 2 localhost:26480 slave
　　7.设置server group服务的slot范围

　　Codis采用Pre-sharding的技术来实现数据的分片，默认分成1024个slots(0-1023)，对于每个key通过公式SlotID=crc32(key)%1024确定属于哪个Slot，每个slot都会有一个且必须有一个特定的server group>bin/codis-config slot range-set 0 511 1 online　　
bin/codis-config slot range-set 512 1023 2 online
　　8.启动coids-proxy
bin/codis-proxy -c config.ini -L ./log/proxy.log  --cpu=32 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000　　刚启动codis-proxy默认是处于offline的状态，需要设置为online状态
bin/codis-config -c config.ini proxy online proxy_1　　通过浏览器访问codis的管理界面
　　http://172.28.2.157:18087/admin/
　　9.写入一些数据测试
　　使用redis-benchmark随意写入一些数据
redis-benchmark -h 172.28.2.157 -p  19000  -n 500000 -P 100  -r 1048576 -d 256 -t get,set,mset -c 800　　-n 发起的请求总数
　　-P Pipeline请求数
　　-d SET/GET值大小
　　-c 并列连接的客户端数量
　　10.数据迁移测试
　　通过访问http://172.28.2.157:18087/slots
　　可以看到slots的排列情况，不同的Group是不同的颜色。这样作数据迁移后很容易看到slot迁移后的情况。
　　如果要迁移slots可以在管理界面选择 Migrate Slot(s) 然后选择需要将哪些slots迁移到哪个Group
bin/codis-config slot migrate 0 511 2 --delay=10　　正常的slots的状态是online，正在迁移的slots的状态是migrate
　　Codis支持动态根据实例内存，自动对slot进行迁移，以均衡数据分布
　　可以在管理界面点击Auto Rebalance或者手动执行
bin/codis-config slot rebalance　　自动均衡slots分布需要满足几个条件，要不然会报错
　　所有的codis-server都必须设置maxmemory参数
　　所有的slots都应该处于online状态，即没有迁移任务正在执行
　　所有的Group都必须有Master
　　值得注意的是，把Codis编译完成后直接复制bin目录下的codis-proxy,codis-config,codis-server三个二进制文件和assets资源目录到其他机器上也是可以直接运行的。目标主机不一定安装有go语言。
　　11.codis和redis压力测试
　　目前线上使用的是Redis3.0的版本。所以这里就简单测试单个redis-server3.0实例和单个codis-server 2.0的性能
　　测试工具使用redis-benchmark
　　绘图工具使用gnuplot
　　三 线上部署Codis
　　参考文档：
　　http://www.infoq.com/cn/articles/effective-ops-part-03
　　http://john88wang.blog.51cto.com/2165294/1620409
　　http://john88wang.blog.51cto.com/2165294/1623309
　　https://github.com/CodisLabs/codis
　　http://www.juvenxu.com/2015/03/20/experiences-on-zookeeper-ops/
　　https://github.com/CodisLabs/codis/blob/master/doc/FAQ_zh.md