设为首页 收藏本站
查看: 1562|回复: 0

[经验分享] 部署Redis的主从集群模式

[复制链接]
累计签到:1 天
连续签到:1 天
发表于 2017-2-17 09:24:26 | 显示全部楼层 |阅读模式
为确保数据安全和更高的读写性能,Redis存储系统一般采用集群的模式,目前常见的Redis集群实现方案有以下五种:
采用主从模式该模式优点是命令全兼容,直连redis性能无损耗;缺点是容量受单机限制,扩容较麻烦。
Twemproxy代理模式该模式优点是支持sharding和自动容灾;缺点是不支持在线扩容,比较适合缓存的场景。
Redis cluster模式该模式优点是直连Redis性能无损耗;缺点是Redis节点既要处理业务数据又要负责集群管理,逻辑比较重,给升级和运维都造成了困难。Redis cluster还需要smart client客户端的支持,而目前稳定版的smart client还很少。
Codis集群codis模式和Twemproxy都属于代理模式,相比Twemproxy他的优点是支持简单的管理页面和在线扩容。缺点是模块较多,搭建和维护比较复杂,而且一个集群只支持一个实例,如果需要使用多个实例需要重新部署多套一样的codis集群,大大提升了运维的复杂度。
自行研发如果觉得以上几种模式都不适合自己的业务场景,可以自行研发一套适合自己业务场景的Redis集群系统





构建Redis的主从模式



Redis的主从原理
Redis主从复制可以根据是否是全量分为全量同步和增量同步。


1全量同步
Redis全量复制一般发生在Slave初始化阶段,这时Slave需要将Master上的所有数据都复制一份。具体步骤如下:
1)从服务器连接主服务器,发送SYNC命令;
2)主服务器接收到SYNC命名后,开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令;
3)主服务器BGSAVE执行完后,向所有从服务器发送快照文件,并在发送期间继续记录被执行的写命令;
4)从服务器收到快照文件后丢弃所有旧数据,载入收到的快照;
5)主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令;
6)从服务器完成对快照的载入,开始接收命令请求,并执行来自主服务器缓冲区的写命令;
2增量同步
Redis增量复制是指Slave初始化后开始正常工作时主服务器发生的写操作同步到从服务器的过程。增量复制的过程主要是主服务器每执行一个写命令就会向从服务器发送相同的写命令,从服务器接收并执行收到的写命令。

  主从刚刚连接的时候,进行全量同步;全同步结束后,进行增量同步。当然,如果有需要,slave 在任何时候都可以发起全量同步。redis 策略是,无论如何,首先会尝试进行增量同步,如不成功,要求从机进行全量同步。

配置步骤
1Master配置
[iyunv@localhost ~]# vim /usr/local/redis/redis.conf
修改
bind 192.168.1.1       //服务所绑定的IP地址,填写自身Master自身IP
port 6379                   //监听端口
requirepass 123.com     //认证密码密码


2Slave配置:
[iyunv@localhost ~]# vim /usr/local/redis/redis.conf
修改
bind 192.168.1.2
port 6378
slaveof 192.168.1.1 6379      //指定主的IP及端口号
masterauth 123.com      //主的认证密码
requirepass 123.com      

3重新启动redis服务
[iyunv@localhost ~]# netstat -anpt | grep redis
[iyunv@localhost ~]# killall -9 redis-server               或者使用柔和一点,平缓退出的方式:killall -s QUIT redis-server
或者
[iyunv@localhost ~]# service redis stop
[iyunv@localhost ~]# rm -rf /usr/local/redis/pid/redis.pid

[iyunv@localhost ~]# service redis start


4、验证:
1)查看redis日志
Master服务器的日志
[iyunv@localhost ~]# tailf /usr/local/redis/log/redis.log

4916:M 16 Feb 15:52:51.127 * DB loaded from disk: 0.000 seconds
4916:M 16 Feb 15:52:51.127 * The server is now ready to accept connections on port 6379
4916:M 16 Feb 15:53:07.104 * Slave 192.168.1.2:6379 asks for synchronization
4916:M 16 Feb 15:53:07.104 * Full resync requested by slave 192.168.1.2:6379
4916:M 16 Feb 15:53:07.104 * Starting BGSAVE for SYNC with target: disk
4916:M 16 Feb 15:53:07.105 * Background saving started by pid 4919
4919:C 16 Feb 15:53:07.120 * DB saved on disk
4919:C 16 Feb 15:53:07.121 * RDB: 6 MB of memory used by copy-on-write
4916:M 16 Feb 15:53:07.192 * Background saving terminated with success
4916:M 16 Feb 15:53:07.192 * Synchronization with slave 192.168.1.2:6379 succeeded



Slave服务器的日志

[iyunv@localhost ~]# tailf /usr/local/redis/log/redis.log
4747:S 16 Feb 15:53:07.098 * Connecting to MASTER 192.168.1.1:6379
4747:S 16 Feb 15:53:07.099 * MASTER <-> SLAVE sync started
4747:S 16 Feb 15:53:07.100 * Non blocking connect for SYNC fired the event.
4747:S 16 Feb 15:53:07.103 * Master replied to PING, replication can continue...
4747:S 16 Feb 15:53:07.104 * Partial resynchronization not possible (no cached master)
4747:S 16 Feb 15:53:07.106 * Full resync from master: ae1ddd593e87630fdf33de99e45b4b98340d96c3:1
4747:S 16 Feb 15:53:07.193 * MASTER <-> SLAVE sync: receiving 92 bytes from master
4747:S 16 Feb 15:53:07.193 * MASTER <-> SLAVE sync: Flushing old data
4747:S 16 Feb 15:53:07.193 * MASTER <-> SLAVE sync: Loading DB in memory
4747:S 16 Feb 15:53:07.193 * MASTER <-> SLAVE sync: Finished with success



2、查看rdb快照文件
Master中
[iyunv@localhost ~]# ls /usr/local/redis/db/
Slave中
[iyunv@localhost ~]# ls /usr/local/redis/db/

3、数据同步
Master中
[iyunv@localhost ~]# redis-cli -a 123.com -h 192.168.1.1 -p 6379
192.168.1.1:6379> info
192.168.1.1:6379> set key2 kokokoko
192.168.1.1:6379> get key2

Slave
[iyunv@localhost ~]# redis-cli -a 123.com -h 192.168.1.2 -p 6378
192.168.1.2:6378> info
192.168.1.2:6378> get key2

二、数据的持久化
Redis支持数据的持久化,若机器重启,Redis会从磁盘文件中重建内存数据,所以越来越多的公司为获取更高的读和写性能,将Redis作为持久化的数据库,后端不接其他数据库,这种场景相比做缓存的场景的优势是除了能提升系统的读性能外,还能提升系统的写性能。
数据的持久化方式:
1snapshotting方式  snapshotting:快照
快照是默认的持久化方式。这种方式是就是将内存中数据以快照的方式写入到二进制文件中,
默认的文件名为dump.rdb
配置:vim /usr/local/redis/redis.conf
save 900 1 #900 秒内如果超过1 key 被修改,则发起快照保存
save 300 10 #300 秒内容如超过10 key 被修改,则发起快照保存
save 60 10000


2aof 方式
由于快照方式是在一定间隔时间做一次的,所以如果redis 意外down 掉的话,就会丢失最后一次快照后的所有修改。redis 会将每一个收到的写命令都通过write 函数追加到文件中(默认是appendonly.aof)。当redis 重启时会通过重新执行文件中保存的写命令来在内存中重建整个数据库的内容。
配置:vim /usr/local/redis/redis.conf
appendonly yes //启用aof 持久化方式
# appendfsync always //收到写命令就立即写入磁盘,最慢,但是保证完全的持久化
appendfsync everysec //每秒钟写入磁盘一次,在性能和持久化方面做了很好的折中
# appendfsync no //完全依赖os,性能最好,持久化没保证   不写入磁盘,加了#号,表示不推荐

使用redis-desktop-manager软件
Windows中安装redis-desktop-manager软件。实现图形界面中管理redis数据库。




运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-343246-1-1.html 上篇帖子: redis安装手册 下篇帖子: 由redis持久化AOF重写想到Excel保存过程
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表