redis replication-dongnan

torlee

　　redis replication
　　

　　
1 配置redis replication
　　

• redis配置复制是很简单的，仅仅在slave的配置文件中增加类似下面这行的内容:
  
• //slave 端的配置文件
  
• tail -n4 redis.conf
  
• #master的ip地址与端口号
  
• slaveof 192.168.57.70 6379
  
• #设置slave到master的认证
  
• masterauth dongnan
  
• 
  
• //master 端的配置文件,设置redis服务密码
  
• requirepass dongnan
  

　　

　　
2 启动redis slave 服务器
　　

• /usr/local/redis/bin/redis-server /usr/local/redis/conf/redis.conf
  

　　

　　
3 查看redis 日志
　　

• tail redis.log -f
  
• [1510] 02 Jul 17:47:51 * Server started, Redis version 2.4.15
  
• [1510] 02 Jul 17:47:51 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
  
• [1510] 02 Jul 17:47:51 * DB loaded from disk: 0 seconds
  
• [1510] 02 Jul 17:47:51 * The server is now ready to accept connections on port 6379
  
• [1510] 02 Jul 17:47:52 * Connecting to MASTER...
  
• [1510] 02 Jul 17:47:52 * MASTER  SLAVE sync started
  
• [1510] 02 Jul 17:47:52 * Non blocking connect for SYNC fired the event.
  
• [1510] 02 Jul 17:47:53 * MASTER  SLAVE sync: receiving 60 bytes from master
  
• [1510] 02 Jul 17:47:53 * MASTER  SLAVE sync: Loading DB in memory
  
• [1510] 02 Jul 17:47:53 * MASTER  SLAVE sync: Finished with success
  

　　

　　
4 验证redis slave replication
　　

• /usr/local/redis/bin/redis-cli info | grep -i 'master'
  
• master_host:192.168.57.70
  
• master_port:6379
  
• master_link_status:up
  
• master_last_io_seconds_ago:4
  
• master_sync_in_progress:0
  
• 
  
• //master
  
• 10.0.100.70 [~]$ /usr/local/redis/bin/redis-cli -a dongnan -h 10.0.100.70
  
• redis 192.168.57.70:6379> set name dongnan
  
• OK
  
• 
  
• //slave
  
• 10.0.100.76 [var]$ /usr/local/redis/bin/redis-cli
  
• redis 127.0.0.1:6379> get name
  
• "dongnan"
  

　　

　　
5 注意：REPLICATION 主从配置
　　

• requirepass dongnan:设置redis服务密码，如果开启，则客户端连接时需要 -a  指定密码，否则操作会提示无权限,如:
  
• redis> set name dongnan
  
• (error) ERR operation not permitted
  

　　

　　

　　

　　
参考1
　　
http://www.redis.cn/topics/replication.html
　　

　　
参考2
　　
redis replication 定义
　　
一.redis主从复制特点:
　　
1.master可以拥有多个slave
　　
2.多个slave可以连接同一个master外，还可以连接到其他slave
　　
3.主从复制不会阻塞master，在同步数据时，master可以继续处理client请求
　　
4.提高系统的伸缩性
　　
5.可以在master禁用数据持久化，注释掉master配置文件中的所有save配置，只需在slave上配置数据持久化
　　

　　
二.redis主从复制过程:
　　
当配置好slave后，slave与master建立连接，然后发送sync命令。
　　
无论是第一次连接还是重新连接，master都会启动一个后台进程，将数据库快照保存到文件中，同时master主进程会开始收集新的写命令并缓存。
　　
后台进程完成写文件后，master就发送文件给slave，slave将文件保存到硬盘上再加载到内存中，接着master就会把缓存的命令转发给slave，后续master将收到的写命令发送给slave。
　　
如果 master同时收到多个slave发来的同步连接命令，master只会启动一个进程来写数据库镜像，然后发送给所有的slave。
　　

　　

　　
参考3
　　
redis 主从配置实例
　　
使用主从模式，在master上关掉所有持久化，在slave上使用AOF持久化：
　　
cat redis.conf
　　

• #Master config
  
• ###General 配置
  
• daemonize yes           #使用daemon 方式运行程序，默认为非daemon方式运行
  
• pidfile /tmp/redis.pid  #pid文件位置
  
• port 6379                  #使用默认端口
  
• timeout 30                 #client 端空闲断开连接的时间
  
• loglevel warning          #日志记录级别，默认是notice，我这边使用warning,是为了监控日志方便。
  
• logfile /opt/logs/redis/redis.log   #日志位置
  
• databases 16             #默认是0，也就是只用1 个db,我这边设置成16，方便多个应用使用同一个redis server。
  
• 
  
• #snapshoot 持久化方式的策略。
  
• #为了保证数据相对安全，在下面的设置中，更改越频繁，SNAPSHOTTING越频繁，也就是说，压力越大反而花在持久化上的资源会越多。
  
• #所以我选择了master-slave模式，并在master关掉了SNAPSHOTTING。
  
• #save 900 1        #在900秒之内，redis至少发生1次修改则redis抓快照到磁盘
  
• #save 300 100      #在300秒之内，redis至少发生100次修改则redis抓快照到磁盘
  
• #save 60 10000     #在60秒之内，redis至少发生10000次修改则redis抓快照到磁盘
  
• rdbcompression yes   #使用压缩
  
• dbfilename dump.rdb  #SNAPSHOTTING的文件名
  
• dir /opt/data/redis/ #SNAPSHOTTING文件的路径
  
• 
  
• #REPLICATION 设置
  
• #slaveof         #如果这台机器是台redis slave，可以打开这个设置。
  
•                  #如果使用master-slave模式，将在master上把SNAPSHOTTING关了，这样可以不用在master上做持久化，
  
•                  #而是在slave上做，这样可以大大提高master 内存使用率和系统性能。
  
• #slave-serve-stale-data yes  #如果slave 无法与master 同步，是否还可以读
  
• 
  
• #SECURITY 设置
  
• #requirepass aaaaaaaaa       #redis性能太好，用个passwd 意义不大
  
• #rename-command FLUSHALL ""  #可以用这种方式关掉非常危险的命令，如FLUSHALL这个命令，
  
•                              #它清空整个 Redis 服务器的数据，而且不用确认且从不会失败
  
• 
  
• #LIMIT 设置
  
• maxclients 0      #无client连接数量限制
  
• maxmemory 14gb    #redis最大可使用的内存量，我的服务器内存是16G，如果使用redis SNAPSHOTTING的copy-on-write的持久会写方式，
  
•                   #会额外的使用内存，为了使持久(化)操作不会使用系统VM，使redis服务器性能下降，
  
•                   #建议保留redis最大使用内存的一半8G来留给持久化使用，我个人觉得非常浪费。我没有在master上不做持久化，使用主从方式
  
• maxmemory-policy volatile-lru  #使用LRU算法删除设置了过期时间的key,但如果程序写的时间没有写key的过期时间，
  
•                                #建议使用allkeys-lru，这样至少保证redis不会不可写入。
  
• 
  
• #APPEND ONLY MODE 设置
  
• appendonly no    #不使用AOF，AOF是另一种持久化方式，我没有使用的原因是这种方式并不能在服务器或磁盘损坏的情况下，保证数据可用性。
  
• appendfsync everysec
  
• no-appendfsync-on-rewrite no
  
• auto-aof-rewrite-percentage 100
  
• auto-aof-rewrite-min-size 64mb
  
• 
  
• #SLOW LOG 设置
  
• slowlog-log-slower-than 10000  #如果操作时间大于0.001秒，记录slow log,这个log是记录在内存中的，可以用redis-cli slowlog get 命令查看
  
• slowlog-max-len 1024  #slow log 的最大长度
  
• 
  
• #VIRTUAL MEMORY 设置
  
• vm-enabled no   #不使用虚拟内存，在redis 2.4版本，作者已经非常不建议使用VM。
  
• vm-swap-file /tmp/redis.swap
  
• vm-max-memory 0
  
• vm-page-size 32
  
• vm-pages 134217728
  
• vm-max-threads 4
  
• 
  
• #ADVANCED CONFIG 设置，下面的设置主要是用来节省内存的，我没有对它们做修改
  
• hash-max-zipmap-entries 512
  
• hash-max-zipmap-value 64
  
• list-max-ziplist-entries 512
  
• list-max-ziplist-value 64
  
• set-max-intset-entries 512
  
• zset-max-ziplist-entries 128
  
• zset-max-ziplist-value 64
  
• activerehashing yes
  
• 
  
• #INCLUDES 设置 ，使用下面的配置，可以配置一些个另其它的设置，如slave的配置
  
• #include /path/to/local.conf
  
• #include /path/to/other.conf
  
• #include /opt/redis/etc/slave.conf  如果是slave server,把这个注释打开
  
• 
  
• #slave config
  
• #REPLICATION 设置
  
• slaveof redis01 6397  #如果这台机器是台redis slave，可以打开这个设置。如果使用master-slave模式，我就会在master上
  
•                       #把SNAPSHOTTING关了，这样可以不用在master上做持久化，而是在slave上做这样可以大大提高master内存使用率和系统性能。
  
• slave-serve-stale-data no  #如果slave 无法与master 同步，设置成slave不可读，方便监控脚本发现问题。
  
• ###APPEND ONLY MODE 设置
  
• appendonly yes        #在slave上使用了AOF,以保证数据可用性。
  
• 
  
• 其它后继数据备份工作
  
• 1、用redis-cli bgsave 命令每天凌晨一次持久化一次master redis上的数据，并CP到其它备份服务器上。
  
• 2、用redis-cli bgrewriteaof 命令每半小时持久化一次 slave redis上的数据，并CP到其它备份服务器上。
  
• 3、写个脚本 ，定期get master和slave上的key,看两个是否同步，如果没有同步，及时报警
  

　　

　　

　　参考4
　　
主从同步备份
　　

• 1 主从同步目的目标
  
• 主从的主要目的：数据持久化，灾难恢复，冗余。主库不落地，减少消耗。
  
• 2 主从配置
  
• 从库安装配置同主库一致，主库无需任何改动(允许从库访问)，从库需增加两个地方配置：slaveof &&  AOF 例如:
  
• 
  
• slaveof 10.0.100.70
  
• masterauth dongnan
  
• appendonly yes
  
• appendfilename appendonly01.aof
  
• appendfsync everysec
  
• 3 备份
  
• 备份策略:
  
• 3.1 主库每晚12点串(?)行给每个实例做一次快照(bgsave)；
  
• 3.2 从库每晚12点串行对AOF文件打包备份(tar)，打包备份后做一次AOF文件压缩(bgrewriteaof)。
  
• 3.3 每天的数据起始点是前一天晚上rewriteaof后的数据。
  
• 3.4 主库每晚12点串行给每个实例做一次快照(bgsave)。
  
• 主库备份脚本（redis_bgsave.sh）
  

　　

　　

　　结束
　　更多请：
　　linux 相关 37275208
　　vmware 虚拟化相关  166682360