设为首页 收藏本站
查看: 1433|回复: 0

[经验分享] Redis实战(11)高级特性(3)持久化

[复制链接]

尚未签到

发表于 2018-11-7 09:08:03 | 显示全部楼层 |阅读模式
  redis 是一个支持持久化的内存数据库,也就是说redis 需要经常将内存中的数据同步到磁盘
  来保证持久化。redis 支持两种持久化方式,一种是Snapshotting(快照)也是默认方式,另
  一种是Append-only file(缩写aof)的方式。下面分别介绍:
  一、snapshotting 方式
  快照是默认的持久化方式。这种方式是就是将内存中数据以快照的方式写入到二进制文件中,
  默认的文件名为dump.rdb。可以通过配置设置自动做快照持久化的方式。
  我们可以配置redis在n 秒内如果超过m 个key 被修改就自动做快照,
  下面是默认的快照保存配置
save 900 1 #900 秒内如果超过1 个key 被修改,则发起快照保存  
save 300 10 #300 秒内容如超过10 个key 被修改,则发起快照保存
  
save 60 10000
  下面介绍详细的快照保存过程:
  1、redis 调用fork,现在有了子进程和父进程。
  2.、父进程继续处理client 请求,子进程负责将内存内容写入到临时文件。由于os 的实时复
  制机制(copy on write)父子进程会共享相同的物理页面,当父进程处理写请求时os 会为父
  进程要修改的页面创建副本,而不是写共享的页面。所以子进程地址空间内的数据是fork
  时刻整个数据库的一个快照。
  3、当子进程将快照写入临时文件完毕后,用临时文件替换原来的快照文件,然后子进程退出。
  client 也可以使用save 或者bgsave 命令通知redis 做一次快照持久化。save 操作是在主线程
  中保存快照的,由于redis 是用一个主线程来处理所有client 的请求,这种方式会阻塞所有
  client 请求。所以不推荐使用。另一点需要注意的是,每次快照持久化都是将内存数据完整
  写入到磁盘一次,并不是增量的只同步变更数据。如果数据量大的话,而且写操作比较多,
  必然会引起大量的磁盘io 操作,可能会严重影响性能。
  下面将演示各种场景的数据库持久化情况
  首先在redis.conf配置文件中配置log日志
DSC0000.png

  然后我们进行如下操作:
DSC0001.png

  查看日志文件
DSC0002.png

  从日志可以看出,数据库做了一个存盘的操作,将内存的数据写入磁盘了。正常的话,磁盘
  上会产生一个dump 文件,用于保存数据库快照,我们来验证一下:
DSC0003.png

  硬盘上已经产生了一个数据库快照了。这时侯我们再将redis 启动,看键值还是否真的持久
  化到硬盘了。
DSC0004.png

  二、aof方式
  另外由于快照方式是在一定间隔时间做一次的,所以如果redis 意外down 掉的话,就会丢
  失最后一次快照后的所有修改。如果应用要求不能丢失任何修改的话,可以采用aof 持久化
  方式。
  下面介绍Append-only file:
  aof 比快照方式有更好的持久化性,是由于在使用aof 持久化方式时,redis 会将每一个收到
  的写命令都通过write 函数追加到文件中(默认是appendonly.aof)。当redis 重启时会通过重
  新执行文件中保存的写命令来在内存中重建整个数据库的内容。
  当然由于os 会在内核中缓存 write 做的修改,所以可能不是立即写到磁盘上。这样aof 方式的持久化也还是有可能会丢失部分修改。
  不过我们可以通过配置文件告诉redis 我们想要通过fsync 函数强制os 写入
  到磁盘的时机。有三种方式如下(默认是:每秒fsync 一次)
appendonly yes #启用aof 持久化方式  
appendfsync always #收到写命令就立即写入磁盘,最慢,但是保证完全的持久化
  
appendfsync everysec #每秒钟写入磁盘一次,在性能和持久化方面做了很好的折中
  
appendfsync no #完全依赖os,性能最好,持久化没保证
  接下来我们以实例说明用法:
  修改配置文件:
DSC0005.png

  进行一下操作:
DSC0006.png

  我们先设置2 个键值对,然后我们看一下系统中有没有产生appendonly.aof 文件
DSC0007.png

  结果证明产生了,接着我们将redis 再次启动后来看一下数据是否还在
DSC0008.png

  数据还存在系统中,说明系统是在启动时执行了一下从磁盘到内存的load 数据的过程。
  aof 的方式也同时带来了另一个问题。持久化文件会变的越来越大。例如我们调用incr test
  命令100 次,文件中必须保存全部的100 条命令,其实有99 条都是多余的。因为要恢复数
  据库的状态其实文件中保存一条set test 100 就够了。为了压缩aof 的持久化文件。redis 提
  供了bgrewriteaof 命令。收到此命令redis 将使用与快照类似的方式将内存中的数据以命令
  的方式保存到临时文件中,最后替换原来的文件。具体过程如下
  1、redis 调用fork ,现在有父子两个进程
  2、子进程根据内存中的数据库快照,往临时文件中写入重建数据库状态的命令
  3、父进程继续处理client 请求,除了把写命令写入到原来的aof 文件中。同时把收到的写命
  令缓存起来。这样就能保证如果子进程重写失败的话并不会出问题。
  4、当子进程把快照内容写入已命令方式写到临时文件中后,子进程发信号通知父进程。然
  后父进程把缓存的写命令也写入到临时文件。
  5、现在父进程可以使用临时文件替换老的aof 文件,并重命名,后面收到的写命令也开始
  往新的aof 文件中追加。
  需要注意到是重写aof 文件的操作,并没有读取旧的aof 文件,而是将整个内存中的数据库
  内容用命令的方式重写了一个新的aof 文件,这点和快照有点类似。接来我们看一下实际的例
  子:
  我们先调用5 次incr age 命令:
DSC0009.png

  接下来我们看一下日志文件的大小
DSC00010.png

  大小为533 个字节,接下来我们调用一下bgrewriteaof 命令将内存中的数据重新刷到磁盘的
  日志文件中
DSC00011.png

  再看一下磁盘上的日志文件大小
DSC00012.png

  日志文件大小变为84 个字节了,说明原来日志中的重复记录已被刷新掉了。



运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-631765-1-1.html 上篇帖子: redis状态与性能监控 下篇帖子: Redis实战(13)虚拟内存
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表