基于Twemproxy的Redis集群方案
概述由于单台redis服务器的内存管理能力有限，使用过大内存redis服务器的性能急剧下降，且服务器发生故障将直接影响大面积业务。为了获取更好的缓存性能及扩展型，我们将需要搭建redis集群来满足需求。因redis 3.0 beta支持的集群功能不适合生产环境的使用，所以我们采用twitter正在使用的twemproxy来搭建redis缓存服务器集群，目前用户包括Pinterest、Tumblr、Twitter、Vine、Kiip、Wuaki.tv、Wanelo、Kontera、Wikimedia、Bright、56.com、Snapchat、Digg、Gawkermedia、3scale.net等。
Twemproxy是memcached和redis协议的代理服务器，并能有效减少大量连接对redis服务器的性能影响，它提供的主要特性如下:
集群架构
安装Redis
有三台服务器，一台COS1安装twemproxy，另外两台COS2，COS3安装redis。
[*]下载最新安装包：redis-2.8.9.tar.gz ， tcl-8.5.7-6.el6.x86_64.rpm ，nutcracker-0.3.0.tar.gz
[*]
[*]安装必要组件rpm：
# yum install gcc
# rpm -ivh tcl-8.5.7-6.el6.x86_64.rpm
[*]安装Redis：
# tar xvf redis-2.8.9.tar.gz
# cd redis-2.8.9
# make
…
Hint: To run 'make test' is a good idea ;)
make: Leaving directory `/usr/local/src/redis-2.8.9/src'
# make test
All tests passed without errors!
Cleanup: may take some time... OK
make: Leaving directory `/usr/local/src/redis-2.8.9/src'
# make install
# cd /usr/local/bin/
# ll
total 13908
-rwxr-xr-x. 1 root root 4170264 Apr 26 11:51 redis-benchmark
-rwxr-xr-x. 1 root root 22185 Apr 26 11:51 redis-check-aof
-rwxr-xr-x. 1 root root 45419 Apr 26 11:51 redis-check-dump
-rwxr-xr-x. 1 root root 4263471 Apr 26 11:51 redis-cli
-rwxr-xr-x. 1 root root 5726791 Apr 26 11:51 redis-server
[*]编辑redis配置文件：
# cp redis.conf /etc/
# vim /etc/red
redhat-releaseredis.conf
# vim /etc/redis.conf
把里面的
daemonize no修改成 daemonize yes
[*]启动redis服务：
# redis-server /etc/redis.conf
[*]测试redis服务：
# redis-cli
127.0.0.1:6379> set kin kin
OK
127.0.0.1:6379> get kin
[*]同样的步骤安装其他redis服务器。
安装twemproxy
[*]安装twemproxy：
# tar xvf nutcracker-0.3.0.tar.gz
# cd nutcracker-0.3.0
#./configure
# make && make install
[*]编辑配置文件：
# cd /usr/local/src/nutcracker-0.3.0/conf
# cp nutcracker.yml /etc/
# vim /etc/nutcracker.yml
alpha:
listen: 0.0.0.0:22121
hash: fnv1a_64
distribution: ketama
auto_eject_hosts: true
redis: true
server_retry_timeout: 2000
server_failure_limit: 1
servers: --两台redis服务器的地址和端口
- 10.23.22.240:6379:1
- 10.23.22.241:6379:1
[*]测试配置文件：
# nutcracker -t /etc/nutcracker.yml
nutcracker: configuration file 'conf/nutcracker.yml' syntax is ok
[*]启动twemproxy：
# nutcracker--help
This is nutcracker-0.3.0
Usage: nutcracker [-?hVdDt] [-v verbosity level] [-o output file]
[-c conf file] [-s stats port] [-a stats addr]
[-i stats interval] [-p pid file] [-m mbuf size]
Options:
-h, --help : this help
-V, --version : show version and exit
-t, --test-conf : test configuration for syntax errors and exit
-d, --daemonize : run as a daemon
-D, --describe-stats : print stats description and exit
-v, --verbosity=N : set logging level (default: 5, min: 0, max: 11)
-o, --output=S : set logging file (default: stderr)
-c, --conf-file=S : set configuration file (default: conf/nutcracker.yml) #配置
-s, --stats-port=N : set stats monitoring port (default: 22222)
-a, --stats-addr=S : set stats monitoring ip (default: 0.0.0.0)
-i, --stats-interval=N : set stats aggregation interval in msec (default: 30000 msec)
-p, --pid-file=S : set pid file (default: off)
-m, --mbuf-size=N : set size of mbuf chunk in bytes (default: 16384 bytes)
# nutcracker -d -c /etc/nutcracker.yml
# ps -ef|grep nutcracker
root 15358 10 02:40 ? 00:00:00 nutcracker -d -c /etc/nutcracker.yml
[*]测试twemproxy：
# redis-cli -p 22121
127.0.0.1:22121> get kin
"kin"
127.0.0.1:22121> set kin king
OK
127.0.0.1:22121> get kin
"king"
性能测试
这里使用redis自带的redis-benchmark进行简单的性能测试，测试结果如下:
[*]Set测试：
[*]通过twemproxy测试：
# redis-benchmark -h 10.23.22.240 -p 22121 -c 100 -t set -d 100 -l –q
SET: 38167.94 requests per second
[*]直接对后端redis测试：
# redis-benchmark -h 10.23.22.241 -p 6379 -c 100 -t set -d 100 -l –q
SET: 53191.49 requests per second
[*]Get测试：
[*]通过twemproxy测试：
# redis-benchmark -h 10.23.22.240 -p 22121 -c 100 -t get -d 100 -l -q
GET: 37453.18 requests per second
[*]直接对后端redis测试：
# redis-benchmark -h 10.23.22.241 -p 6379 -c 100 -t get -d 100 -l -q
GET: 62111.80 requests per second
[*]查看键值分布：
# redis-cli info|grep db0
db0:keys=51483,expires=0,avg_ttl=0
# redis-cli info|grep db0
db0:keys=48525,expires=0,avg_ttl=0
测试结果:以基本的set get命令通过twemproxy性能有所下降;通过twemproxy分布基本平均。测试数据以业务测试为准。
页:
[1]