redis之使用twemproxy实现数据分片

devil20

　　1、安装好redis的测试实例：
　　本文测试端口是30002和30001
　　[iyunv@localhost ~]# ps -ef | grep [r]edis-server
　　root      5135     1  0 19:57 ?        00:00:00 redis-server *:30001            
　　root     19272     1  0 May29 ?        00:00:47 redis-server *:30002 
　　2、安装autoconf（twemproxy编译安装需要）
　　下载链接：http://ftp.gnu.org/gnu/autoconf
　　（twemproxy的安装要求autoconf的版本在2.64以上）
　　选择autoconf-2.69
　　cd autoconf-2.69
　　make
　　make install
　　3、twemproxy下载安装：
　　下载链接：https://github.com/twitter/twemproxy
　　创建安装目录：mkdir -p /usr/local/twemproxy
　　cd twemproxy-master
　　autoreconf -fvi
　　./configure  --prefix=/usr/local/twemproxy/
　　make
　　make install
　　
　　4、配置文件:
　　[iyunv@localhost twemproxy-master]# cat /usr/local/twemproxy/conf/nutcracker.yml
　　zhaogp:
　　listen: 127.0.0.1:7000
　　hash: fnv1a_64
　　distribution: ketama
　　auto_eject_hosts: true
　　redis: true
　　server_retry_timeout: 30000
　　server_failure_limit: 1
　　servers:
　　- 127.0.0.1:30001:1 master0
　　- 127.0.0.1:30002:1 master1
　　5、启动：
　　nutcracker -d -c /usr/local/twemproxy/conf/nutcracker.yml -p /usr/local/twemproxy/run/redisproxy.pid -o /usr/local/twemproxy/run/haha.log
　　
　　6、测试：
　　[iyunv@localhost ~]# redis-cli  -p 7000
　　127.0.0.1:7000> set b1 test1
　　OK
　　127.0.0.1:7000> set b1111 test2
　　OK
　　127.0.0.1:7000>
　　127.0.0.1:7000>
　　127.0.0.1:7000> set b111 test3
　　OK
　　127.0.0.1:7000>
　　127.0.0.1:7000>
　　127.0.0.1:7000> set b11111 test3
　　OK
　　127.0.0.1:7000>
　　
　　分别登陆 30001和30002，可以看到数据已经分别写的不同的节点了。
　　测试节点宕机场景：
　　手动关掉一个节点，本来应该分布到该节点的数据，下次写入会写到其他节点。当改节点启动后，
　　会重新分配到该节点。
　　这个重新hash分配会导致缓存数据失效，甚至读到错误数据（如某节点反复宕机）。可以尝试结合redis-sentinel
　　做节点高可用
　　
　　7、其他：
　　[iyunv@localhost twemproxy-master]# nutcracker -h
　　This is nutcracker-0.4.0
　　Usage: nutcracker [-?hVdDt] [-v verbosity level] [-o output file]
　　[-c conf file] [-s stats port] [-a stats addr]

　　[-i stats interval] [-p pid file] [-m mbuf>　　Options:
　　-h, --help             : this help
　　-V, --version          : show version and exit
　　-t, --test-conf        : test configuration for syntax errors and exit
　　-d, --daemonize        : run as a daemon
　　-D, --describe-stats   : print stats description and exit
　　-v, --verbose=N        : set logging level (default: 5, min: 0, max: 11)
　　-o, --output=S         : set logging file (default: stderr)
　　-c, --conf-file=S      : set configuration file (default: conf/nutcracker.yml)
　　-s, --stats-port=N     : set stats monitoring port (default: 22222)
　　-a, --stats-addr=S     : set stats monitoring ip (default: 0.0.0.0)
　　-i, --stats-interval=N : set stats aggregation interval in msec (default: 30000 msec)
　　-p, --pid-file=S       : set pid file (default: off)

　　-m, --mbuf-size=N      : set>　　
　　如果一个服务器上开启多个twemproxy，需要指定不同的--stats-port,默认是22222：
　　例子：
　　[iyunv@localhost twemproxy-master]# ps -ef | grep [n]utcracker
　　root     16085     1  0 May29 ?        00:00:00 nutcracker -d -c /usr/local/twemproxy/conf/nutcracker.yml -p /usr/local/twemproxy/run/redisproxy.pid -o
　　/usr/local/twemproxy/run/haha.log
　　root     28443     1  0 May29 ?        00:00:00 nutcracker -d -c /usr/local/twemproxy/conf/nutcracker_new.yml -p /usr/local/twemproxy/run/redisproxy2.pid -o
　　/usr/local/twemproxy/run/haha2.log --stats-port=22221
　　
　　参考：
　　https://github.com/twitter/twemproxy
　　http://mdba.cn/?p=157