codis集群搭建

lkjhgd

                      Codis简介

  Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 CodisProxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务.
Codis 由四部分组成:
Codis Proxy   (codis-proxy)
Codis Manager (codis-config)
Codis Redis   (codis-server)
ZooKeeper
codis-proxy 是客户端连接的 Redis 代理服务,codis-proxy 本身实现了 Redis 协议, 表现得和一个原生的 Redis 没什么区别 (就像 Twemproxy),对于一个业务来说, 可以部署多个 codis-proxy, codis-proxy 本身是无状态的.
codis-config 是 Codis 的管理工具, 支持包括, 添加/删除 Redis 节点, 添加/删除 Proxy 节点, 发起数据迁移等操作.codis-config 本身还自带了一个 http server, 会启动一个 dashboard, 用户可以直接在浏览器上观察 Codis 集群的运行状态.
codis-server 是 Codis 项目维护的一个 Redis分支, 基于 2.8.13 开发, 加入了 slot 的支持和原子的数据迁移指令. Codis 上层的 codis-proxy 和 codis-config 只能和这个版本的 Redis 交互才能正常运行.
Codis 依赖 ZooKeeper 来存放数据路由表和codis-proxy 节点的元信息, codis-config 发起的命令都会通过 ZooKeeper 同步到各个存活的 codis-proxy.
Codis 支持按照 Namespace 区分不同的产品, 拥有不同的 productname 的产品, 各项配置都不会冲突.
目前 Codis 已经是稳定阶段，目前豌豆荚已经在使用该系统。
架构：

准备工作：
     下载安装包：可到官网下载最新版

jdk1.8.0_45

         Zookeeper-3.4.6
         Go1.6.2

创建目录：
    mkdir/data/packages

部署zookeeper

每个zookeeper节点上安装java环境

1 2 3 4

[iyunv@localhost ~]# cd /data/packages/ [iyunv@localhost packages]# tar xf jdk-8u91-linux-x64.tar.gz -C/usr/local/ [iyunv@localhost packages]# cd /usr/local/ [iyunv@localhost local]# ln -s jdk1.8.0_91 java

安装zookeeper

1 2 3

[iyunv@localhost packages]# tar xf zookeeper-3.4.6.tar.gz -C/usr/local/ [iyunv@localhost packages]# cd /usr/local/ [iyunv@localhost local]# ln -s zookeeper-3.4.6 zookeeper

设置java环境变量并生效

1 2 3 4 5 6 7 8 9 10

[iyunv@localhost local]# cat /etc/profile.d/java.sh JAVA_HOME=/usr/local/java JRE_HOME=$JAVA_HOME/jre ZOOKEEPER_HOME=/usr/local/zookeeper JAVA_FONTS=/usr/local/java/jre/lib/fonts CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin export JAVA_HOME PATH CLASSPATH JRE_HOME ZOOKEEPER_HOME [iyunv@localhost local]# source /etc/profile.d/java.sh

修改zookeeper配置文件

1 2 3 4 5 6 7 8 9 10 11 12 13 14

[iyunv@localhostlocal]#cp  /usr/local/zookeeper/conf/zoo_sample.cfg/usr/local/zookeeper/conf/zoo.cfg [iyunv@localhost local]# vim /usr/local/zookeeper/conf/zoo.cfg [iyunv@localhost local]# cat /usr/local/zookeeper/conf/zoo.cfg tickTime=2000 initLimit=10 syncLimit=5 clientPort=2181 autopurge.snapRetainCount=500 autopurge.purgeInterval=24 dataDir=/data/zookeeper/data dataLogDir=/data/zookeeper/logs server.1=192.168.0.152:2888:3888 server.2=192.168.0.154:2888:3888 server.3=192.168.0.155:2888:3888

按上面配置文件中设置创建数据目录和日志目录

1 2	mkdir –p /data/zookeeper/data mkdir –p /data/zookeeper/logs

在每台zookeeper节点上创建myid，节点对应id

1 2 3 4 5 6

在第一台机上创建myid，对应配置文件中server.1 echo 1 > /data/zookeeper/data/myid 在第二台机上创建myid，对应配置文件中server.2 echo 2 > /data/zookeeper/data/myid 在第三台机上创建myid，对应配置文件中server.3 echo 3 > /data/zookeeper/data/myid

每台机器上面启动zookeeper；

1 2 3 4

[iyunv@node1 ~]# zkServer.sh start JMX enabled by default Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg Starting zookeeper ... STARTED

每台机上zookeeper启动后状态；

1 2 3 4 5 6 7 8 9 10 11 12 13 14

[iyunv@node1 ~]# zkServer.sh status JMX enabled by default Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg Mode: follower [iyunv@localhost local]# zkServer.sh status JMX enabled by default Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg Mode: leader [iyunv@localhost local]# zkServer.sh status JMX enabled by default Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg Mode: follower

部署codis集群

所有codis机器上安装go语言环境

1 2 3 4 5 6 7 8 9

cd /data/packages [iyunv@node1 packages]# tar xf go1.6.2.linux-amd64.tar.gz -C/usr/local/ 添加go环境变量并使用source读入使其生效； [iyunv@node1 packages]# cat /etc/profile.d/go.sh GOROOT=/usr/local/go GOPATH=/usr/local/codis PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin:$GOROOT/bin:$GOPATH/bin export JAVA_HOME PATH CLASSPATH JRE_HOME ZOOKEEPER_HOME GOROOTGOPATH [iyunv@node1 packages]# source /etc/profile.d/go.sh

所有codis节点安装codis(这里是使用go命令从git上下载然后执行make、make install操作，make时有点慢，不要着急！)

使用rpm –ql git来查看本机是否已安装git，如没有安装则使用yum命令自行安装即可；

1 2 3 4

[iyunv@node1 packages]# go get github.com/wandoulabs/codis package github.com/wandoulabs/codis: no buildable Go source files in/usr/local/codis/src/github.com/wandoulabs/codis [iyunv@localhost packages]# cd/usr/local/codis/src/github.com/wandoulabs/codis/ [iyunv@localhost codis]# make

注：如果make时报以下错误，说明是路径问题，使用下面方法解决；

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52

[iyunv@node1 ~]# cd /usr/local/codis/src/github.com/ [iyunv@node1 github.com]# ln -s wandoulabs CodisLabs(如果不链接一个新路径，make时会报路径错误；曾经被误导好久，然后通过新路径进入) [iyunv@node1 github.com]# cd CodisLabs/codis/ [iyunv@node1 codis]# make [iyunv@node1 codis]# make gotest 安装完成后创建并复制文件； [iyunv@node1 codis]# mkdir -p /usr/local/codis/{logs,conf,scripts} [iyunv@node1 codis]# mkdir -p /data/codis_server/{logs,conf,data} [iyunv@node1 codis]# cp -rf bin /usr/local/codis/ [iyunv@node1 codis]# cp config.ini /usr/local/codis/conf/ [iyunv@node1 codis]# cp extern/redis-2.8.21/redis.conf/data/codis_server/conf/ 配置codis_proxy [iyunv@node1 codis]# cat /usr/local/codis/conf/config.ini coordinator=zookeeper zk=192.168.0.152:2181,192.168.0.154:2181,192.168.0.155:2181 product=codis dashboard_addr=192.168.0.152:18087 password= backend_ping_period=5 session_max_timeout=1800 session_max_bufsize=131072 session_max_pipeline=1024 zk_session_timeout=30000 proxy_id=proxy_1 [iyunv@localhost codis]# cat /usr/local/codis/conf/config.ini coordinator=zookeeper zk=192.168.0.152:2181,192.168.0.154:2181,192.168.0.155:2181 product=codis dashboard_addr=192.168.0.152:18087 password= backend_ping_period=5 session_max_timeout=1800 session_max_bufsize=131072 session_max_pipeline=1024 zk_session_timeout=30000 proxy_id=proxy_2 [iyunv@localhost codis]# cat /usr/local/codis/conf/config.ini coordinator=zookeeper zk=192.168.0.152:2181,192.168.0.154:2181,192.168.0.155:2181 product=codis dashboard_addr=192.168.0.152:18087 password= backend_ping_period=5 session_max_timeout=1800 session_max_bufsize=131072 session_max_pipeline=1024 zk_session_timeout=30000 proxy_id=proxy_3

所有codis机器修改配置文件并启动codis-server

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

[iyunv@node1packages]# cd /data/codis_server/conf/ [iyunv@node1 conf]# ls redis.conf [iyunv@node1 conf]# mv redis.conf 6379.conf [iyunv@node1 conf]# vim 6379.conf daemonize yes pidfile /var/run/6379.pid port 6379 tcp-backlog 511 timeout 0 tcp-keepalive 0 loglevel notice logfile "/data/codis_server/logs/codis_6379.log" databases 16 save 900 1 save 300 10 save 60 10000 stop-writes-on-bgsave-error yes rdbcompression yes rdbchecksum yes dbfilename 6379.rdb dir /data/codis_server/data slave-serve-stale-data yes slave-read-only yes

复制配置文件启动多实例

1 2	[iyunv@node1 conf]# cp 6379.conf 6380.conf [iyunv@node1 conf]# sed -i 's/6379/6380/g' 6380.conf

启动codis服务

1 2	[iyunv@node1 conf]# /usr/local/codis/bin/codis-server/data/codis_server/conf/6379.conf [iyunv@node1 conf]# /usr/local/codis/bin/codis-server/data/codis_server/conf/6380.conf

1 2 3 4

启动dashboard(可以写成脚本的形式) /usr/local/codis/bin/codis-config /usr/local/codis/conf/config.inidashboard & 初始化solt(可以写成脚本的形式） /usr/local/codis/bin/codis-config -c/usr/local/codis/conf/config.ini slot init –f

通过http://192.168.0.152:18087来打开网页

添加servergroups,每一个server groups作为一个codis服务器组，且每一个组只有一个master多个slave；

1 2 3 4 5 6

[iyunv@localhost scripts]# /usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 1 192.168.0.152:6379 master [iyunv@localhost scripts]# /usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 1 192.168.0.154:6380 slave [iyunv@localhost scripts]# /usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 2 192.168.0.154:6379 master [iyunv@localhost scripts]# /usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 2 192.168.0.155:6380 slave [iyunv@localhost scripts]# /usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 3 192.168.0.155:6379 master [iyunv@localhost scripts]# /usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 3 192.168.0.152:6380 slave

设置 servergroup 服务的 slot 范围 Codis 采用 Pre-sharding 的技术来实现数据的分片, 默认分成 1024 个 slots (0-1023), 对于每个key来说, 通过以下公式确定所属的 Slot Id : SlotId = crc32(key) % 1024 每一个 slot 都会有一个且必须有一个特定的 server group id 来表示这个 slot 的数据由哪个 server group 来提供.

1 2 3

[iyunv@localhost scripts]# /usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini slot range-set 0 300 1 online [iyunv@localhost scripts]# /usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini slot range-set 301 700 2 online [iyunv@localhost scripts]# /usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini slot range-set 701 1023 3 online

配置codis-ha,实现codis-server的主从切换，主库挂了会提升一个从库为主库，从库挂了会将这个从库直接下线；注：任意一台配置即可；

1 2 3 4 5 6 7 8 9 10

[iyunv@localhost ~]# go get github.com/ngaut/codis-ha [iyunv@localhost ~]# cd /usr/local/codis/src/github.com/ngaut/ [iyunv@localhost ngaut]# cp -r codis-ha /usr/local/ [iyunv@localhost ngaut]# cd /usr/local/codis [iyunv@localhost codis]# cd .. [iyunv@localhost local]# cd /usr/local/codis-ha/ [iyunv@localhost codis-ha]# go build 创建codis-ha启动脚本 [iyunv@localhost codis-ha]# vim /usr/local/codis-ha/start_codis_ha.sh ./codis-ha--codis-config=192.168.0.152:18087 -log-level="info" --productName=vmware-Codis&> ./logs/codis-ha.log &

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

创建日志目录 [iyunv@localhost codis-ha]# mkdir /usr/local/codis-ha/logs 启动codis-ha [iyunv@localhost codis-ha]# sh start_codis_ha.sh [iyunv@localhost codis-ha]# ps aux | grep codis-ha root      51524  0.2 1.1 128584 11596 pts/1    Sl   00:15  0:00 ./codis-ha --codis-config=192.168.0.152:18087 -log-level=info--productName=vmware-Codis root      51534  0.0 0.0 103252   836 pts/1    S+  00:20   0:00 grep codis-ha 现在把154机上codis主下线 [iyunv@localhost codis]# ps aux | grep codis root      49177  0.1 1.1 141484 11684 ?        Ssl  20:47  0:20 /usr/local/codis/bin/codis-server *:6379                           root      49181  0.1 0.9 137388  9624 ?        Ssl 20:47   0:18 /usr/local/codis/bin/codis-server*:6380                           root      49295  0.0 0.0 103252   836 pts/0    S+  23:43   0:00 grep codis [iyunv@localhost codis]# kill 49177 [iyunv@localhost codis]# ps aux | grep codis root      49181  0.1 0.9 137388  9624 ?        Ssl  20:47  0:18 /usr/local/codis/bin/codis-server *:6380                           root      49297  0.0 0.0 103252   832 pts/0    S+  23:43   0:00 grep codis

现在codis就搭建好了，当然也可以部署keepalived+haproxy高可用负载，这里就不介绍了，有兴趣的可以自己找下相关文档；