一总 发表于 2015-7-21 11:57:47

redis 数据结构一 之t_string

简介
   REDIS有非常丰富的数据结构 以及建立在这数据结构上的操作,在源文件中主要集中在 T_hash.c /T_list.c /T_string.c/T_zset.c
  可以说读懂了这4个源文件大部分数据结构命令都比较清楚了。 先从T_string.c源文件开始读起:
T_string.cSET命令
命令简介
SET key value    1)设置了Key Value的时间有2种单位: 第一: EX对应的是秒 第2: PX是毫秒
命令源码分解

[*]void setCommand(redisClient *c) {
[*]int j;
[*]    robj *expire = NULL;
[*]int unit = UNIT_SECONDS;
[*]int flags = REDIS_SET_NO_FLAGS;
[*]for (j = 3; j < c->argc; j++) {
[*]char *a = c->argv->ptr;
[*]      robj *next = (j == c->argc-1) ? NULL : c->argv;
[*]if ((a == 'n' || a == 'N') &&
[*]            (a == 'x' || a == 'X') && a == '\0') {
[*]            flags |= REDIS_SET_NX;
[*]      } else if ((a == 'x' || a == 'X') &&
[*]                   (a == 'x' || a == 'X') && a == '\0') {
[*]            flags |= REDIS_SET_XX;
[*]      } else if ((a == 'e' || a == 'E') &&
[*]                   (a == 'x' || a == 'X') && a == '\0' && next) {
[*]            unit = UNIT_SECONDS;
[*]            expire = next;
[*]            j++;
[*]      } else if ((a == 'p' || a == 'P') &&
[*]                   (a == 'x' || a == 'X') && a == '\0' && next) {
[*]            unit = UNIT_MILLISECONDS;
[*]            expire = next;
[*]            j++;
[*]      } else {
[*]            addReply(c,shared.syntaxerr);
[*]return;
[*]      }
[*]    }
[*]    c->argv = tryObjectEncoding(c->argv);
[*]    setGenericCommand(c,flags,c->argv,c->argv,expire,unit,NULL,NULL);
[*]}
  
  解析:line 8: a获取每个分割的命令参数的头指针j从3开始, 如果命令如:
  set key value 这种中间的循环就不会做了, line 3-5变量的设置就是原始值
  如果做了中间的循环:
  首先由2种可能: ex 和Px 但是在写代码的时候他就会注意到, 后面还会不会接其他的命令
  最终就解析出来了   line33主要是防止Object Value是一个数字看看能不能进行重新编码
  Line 34:就调用通用的SetCommand。 这里实现了所有SET命令版本的入口

[*]void setGenericCommand(redisClient *c, int flags, robj *key, robj *val, robj *expire, int unit, robj *ok_reply, robj *abort_reply) {
[*]long long milliseconds = 0; /* initialized to avoid any harmness warning */
[*]if (expire) {
[*]if (getLongLongFromObjectOrReply(c, expire, &milliseconds, NULL) != REDIS_OK)
[*]return;
[*]if (milliseconds db,key) != NULL) ||
[*]      (flags & REDIS_SET_XX && lookupKeyWrite(c->db,key) == NULL))
[*]    {
[*]      addReply(c, abort_reply ? abort_reply : shared.nullbulk);
[*]return;
[*]    }
[*]    setKey(c->db,key,val);
[*]    server.dirty++;
[*]if (expire) setExpire(c->db,key,mstime()+milliseconds);
[*]    addReply(c, ok_reply ? ok_reply : shared.ok);
  
  line 4到line 11 :是计算出需要多长时间
  line 14- 15:lookupKeyWrite(c->db,key) != NULL) 查看是否有这个key 如果没有就写入
  同样的:lookupKeyWrite(c->db,key) == NULL)查看是否有这个key 如果有就写入
  line 20: 调用db.c/setKey函数,就把相应的Key和value插入到dict[]中去了
  line 21: dirty重新赋值
  line22:调用db.c/setExpire函数 把时间键值插入到这个expire字典里了。 mstime()是计算出当前时间的长整形秒数。 至此 整个SET命令完成了~!
T_string.cGET命令难度【*】

[*]int getGenericCommand(redisClient *c) {
[*]    robj *o;
[*]if ((o = lookupKeyReadOrReply(c,c->argv,shared.nullbulk)) == NULL)
[*]return REDIS_OK;
[*]if (o->type != REDIS_STRING) {
[*]      addReply(c,shared.wrongtypeerr);
[*]return REDIS_ERR;
[*]    } else {
[*]      addReplyBulk(c,o);
[*]return REDIS_OK;
[*]    }
[*]}
  
  get命名从Line 1 进入:调用DB.C里的lookupKeyReadOrReply函数 如果不存在直接返回OK。
  如果不是REDIS_STRING类型: 则返回一个错误。
  如果完全正确 Line 11:把结果返回给客户端
T_string.cGETSET/INCR命令   难度【*】
      这2个命令非常的实用


[*]void getsetCommand(redisClient *c) {
[*]if (getGenericCommand(c) == REDIS_ERR) return;
[*]    c->argv = tryObjectEncoding(c->argv);
[*]    setKey(c->db,c->argv,c->argv);
[*]    server.dirty++;
[*]}
  
  这里可以看到 Line 2:先调用get命令
  然后line 4:进行setKey覆盖掉以前的old key
  这个命令可以完成那种复位计数器的功能:获得当前某个变量值 然后置空
INCR命令                                                                                                                                                   难度【**】
   对key 存储的数字加1当然他的key必须要存储的是数字哦

[*]void incrDecrCommand(redisClient *c, long long incr) {
[*]long long value, oldvalue;
[*]    robj *o, *new;
[*]    o = lookupKeyWrite(c->db,c->argv);
[*]if (o != NULL && checkType(c,o,REDIS_STRING)) return;
[*]if (getLongLongFromObjectOrReply(c,o,&value,NULL) != REDIS_OK) return;
[*]    oldvalue = value;
[*]if ((incr < 0 && oldvalue < 0 && incr < (LLONG_MIN-oldvalue)) ||
[*]      (incr > 0 && oldvalue > 0 && incr > (LLONG_MAX-oldvalue))) {
[*]      addReplyError(c,"increment or decrement would overflow");
[*]return;
[*]    }
[*]    value += incr;
[*]new = createStringObjectFromLongLong(value);
[*]if (o)
[*]      dbOverwrite(c->db,c->argv,new);
[*]else
[*]      dbAdd(c->db,c->argv,new);
[*]    signalModifiedKey(c->db,c->argv);
[*]    server.dirty++;
[*]    addReply(c,shared.colon);
[*]    addReply(c,new);
[*]    addReply(c,shared.crlf);
[*]}
[*]void incrCommand(redisClient *c) {
[*]    incrDecrCommand(c,1);
[*]}
  
  line28:命令入口 然后进入Line1:
  line 5: 先找到key对应的value先判断是不是STRING 是撤回, 然后判断能否转换成Longlong型数 如果能转换 就继续下面的工作: 如果递增 会导致数量越界就返回。
  修改了具体的数值
  注意点: 如果o为NULL,则没有这个key那么就会采用这个方案:dbAdd,如果含有 则改写
  最后一个命令:line 21: 需要通知下 相关的被watch的Key, 如果被watched的key里有这个key则那个key的相应标记位需要置为脏。 但不影响这里的操作
题外话 : 引入INCR的原因
      试想 如果N客户端 都想对某个变量做自增的一个操作如果没有INCR的话 只能是取回 在本地加一然后在传上去但是这样必须进行原子锁所以是不行的如果这样的事情交给服务器做,就可以避免这样的问题,对于客户端来讲只需要提供INCR命令,剩下的都是redis 进行流水线操作就绝对能保持其自增效果   对于这个INCR在我们实验室的爬虫部分 关于多台主机爬取信息 怎么根据ID自增来插入表格 是一个非常好的解决方案~!
T_string.cAPPEND命令       难度【**】
      如果已经存在 就讲value加到key的末尾如果不存在就是简单的set key value

[*]void appendCommand(redisClient *c) {
[*]    size_t totlen;
[*]    robj *o, *append;
[*]    o = lookupKeyWrite(c->db,c->argv);
[*]if (o == NULL) {
[*]/* Create the key */
[*]      c->argv = tryObjectEncoding(c->argv);
[*]      dbAdd(c->db,c->argv,c->argv);
[*]      incrRefCount(c->argv);
[*]      totlen = stringObjectLen(c->argv);
[*]    } else {
[*]/* Key exists, check type */
[*]if (checkType(c,o,REDIS_STRING))
[*]return;
[*]/* "append" is an argument, so always an sds */
[*]      append = c->argv;
[*]      totlen = stringObjectLen(o)+sdslen(append->ptr);
[*]if (checkStringLength(c,totlen) != REDIS_OK)
[*]return;
[*]/* If the object is shared or encoded, we have to make a copy */
[*]if (o->refcount != 1 || o->encoding != REDIS_ENCODING_RAW) {
[*]            robj *decoded = getDecodedObject(o);
[*]            o = createStringObject(decoded->ptr, sdslen(decoded->ptr));
[*]            decrRefCount(decoded);
[*]            dbOverwrite(c->db,c->argv,o);
[*]      }
[*]/* Append the value */
[*]      o->ptr = sdscatlen(o->ptr,append->ptr,sdslen(append->ptr));
[*]      totlen = sdslen(o->ptr);
[*]    }
[*]    signalModifiedKey(c->db,c->argv);
[*]    server.dirty++;
[*]    addReplyLongLong(c,totlen);
[*]}
  
     分2种: 如果没有含key 就直接加入
      如果没有含key则重新分配
      line 32:sdscatlen() 将o->ptr的内容分配到append->ptr里。
T_string.cMSET/MGET命令
简介:
    一次性进行多次插入和取操作命令   是一个原子操作
  void msetGenericCommand(redisClient *c, int nx) {

[*]int j, busykeys = 0;
[*]if ((c->argc % 2) == 0) {
[*]      addReplyError(c,"wrong number of arguments for MSET");
[*]return;
[*]    }
[*]/* Handle the NX flag. The MSETNX semantic is to return zero and don't
[*]   * set nothing at all if at least one already key exists. */
[*]if (nx) {
[*]for (j = 1; j < c->argc; j += 2) {
[*]if (lookupKeyWrite(c->db,c->argv) != NULL) {
[*]                busykeys++;
[*]            }
[*]      }
[*]if (busykeys) {
[*]            addReply(c, shared.czero);
[*]return;
[*]      }
[*]    }
[*]for (j = 1; j < c->argc; j += 2) {
[*]      c->argv = tryObjectEncoding(c->argv);
[*]      setKey(c->db,c->argv,c->argv);
[*]    }
[*]    server.dirty += (c->argc-1)/2;
[*]    addReply(c, nx ? shared.cone : shared.ok);
[*]}
[*]void msetCommand(redisClient *c) {
[*]    msetGenericCommand(c,0);
[*]}
  
同样 入口是line 29 很简单:
      进入line msetGenericCommand之后, Line 3 先看下是不是有参数错了, 如果所有参数和是个偶数 就证明错了
      line 9-14: 如果是msetnx就是key不存在的时候能插入如果存在不让插入nx=1的话 就是调用msetnx命令
        注意点:这里是原子操作,要么全面插入成功 要么全部失败,也就是说:如果中间有一个key存在msetnx直接从17返回了
      Line21-26:这里是真正的插入信息 每2个作为一组进行插入然后就讲dirty更新
  MGET命令基本上是一样的原理再次忽略
  t_string.c 基本上就是这些命令 ,但是奇怪的是getbit setbit的源码不在,这个bit 2进制数组需要在其他的文件中应该会出现,出现在其他源文件中放在其他文件中分析。
  下篇预告: List操作这个是实验室项目用的最多的,所以必须要很好的分析。

页: [1]
查看完整版本: redis 数据结构一 之t_string