设为首页 收藏本站
查看: 886|回复: 0

[经验分享] understanding redis internal

[复制链接]

尚未签到

发表于 2016-12-20 08:30:38 | 显示全部楼层 |阅读模式
  redis 持久化有2种方式,定时快照与append only 
  1. 定时快照实现方式:


     在上一篇启动流程中提到过,redis启动后有一个定时任务serverCron 每100毫秒执行一次,定时快照就是      在这个任务中执行的,代码如下:


     time_t now = time(NULL);
     for (j = 0; j < server.saveparamslen; j++) {
        struct saveparam *sp = server.saveparams+j;
        if (server.dirty >= sp->changes && now-server.lastsave > sp->seconds) {
            rdbSaveBackground(server.dbfilename);
            break;
          }
     }
   saveparam实际对应的就是配置文件中的save指令,对应时间和改变次数
     save 900 1
     save 300 10
     save 60 10000


    对应结构体定义:
    struct saveparam {
      time_t seconds;
      int changes; 
    }
   server.dirty保存的是上一次持久化后,新产生的变化数量
   可以看到只要配置中的任何一个save指令生效:即超过给定时间且发生了给定的changes,则进行持久化


   再看下rdbSaveBackground函数实现:
   if ((childpid = fork()) == 0) {
        //child
        rdbSave(filename);
        ...
    } else {
       //parent
       server.bgsavechildpid = childpid;
       ... 
    }


    也就是说所说的后台快照进程实际是由主进程fork出来的子进程完成的,由于fork子进程使用的是copy on     write机制,所以子进程可以读取主进程当前的内存空间进行dump工作


    对于子进程rdbSave实际就是把快照内存的所有db的dict数据结构遍历,然后依次写入一个叫
    temp-<child_pid>.rdb的文件中,写完后,rename替换现有rdb文件


    对于主进程要保存快照子进程的pid,之后通过wait系统调用获得子进程退出事件
    主进程在获得快照子进程结束信息后,会调用一个backgroundSaveDoneHandler()函数
    清除一些标志变量和临时dump文件 temp-<child_pid>.rdb


    backgroundSaveDoneHandler最后还要做一件很重要的事,调用updateSlavesWaitingBgsave()
    实际作用和redis的复制相关,回头来叙述这个


  2. append only方式
    
    这种方式实际是任何写入操作都会进行持久化,类似于mysql的binlog方式,优缺点大家可以自己理解了


    从代码上可以看到,实际reids接受到client的消息包,解析完后,会查找一个叫cmdTable的结构体数组,     里面存放,对应命令的回调函数,这段代码实际参考call()函数


        
      static void call(redisClient *c, struct redisCommand *cmd) {
           long long dirty;
           dirty = server.dirty;
           cmd->proc(c);
           dirty = server.dirty-dirty;


           if (server.appendonly && dirty)
                feedAppendOnlyFile(cmd,c->db->id,c->argv,c->argc);
           ...
       }



      cmd->proc实际是调用客户端发来命令对应的回调函数,之后根据命令类型重新赋值dirty,只要有新的        changes就append到aof文件中


      当然redis还提供一些命令可以手工对redis进程持久化操作,比如aof文件过大,可以手工发送rewrite给       服务器
      
      另外需要说明的是:redis的replication实际依赖的是第一种方式,内存快照来实现复制功能的,后续详       细说明
     
   结论:
      1. 内存快照持久化方式,dump数据时不影响redis服务其它的request,但重启会丢失部分数据
      2. aof方式保证不会丢失数据,但同样应该会损失部分性能,不过append only这种方式因为一直是顺序          写入,所以影响应该不是很大


      具体选用哪一个还需要根据业务场景选择
转:http://blog.sina.com.cn/s/blog_6a0c5f190100obld.html

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-316668-1-1.html 上篇帖子: Redis "MISCONF Redis is configured to save RDB snapshots, but is currently not a 下篇帖子: 五 redis学习笔记之pipeline(转)
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表