Redis 一个key-value存储系统 简介

jason0401

　　简介　　redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。

性能
　　下面是官方的bench-mark数据：

　　The test was done with 50 simultaneous clients performing 100000 requests.

　　The value SET and GET is a 256 bytes string.

　　The Linux box is running Linux 2.6, it’s Xeon X3320 2.5Ghz.

　　Text executed using the loopback interface (127.0.0.1).

　　Results: about 110000 SETs per second, about 81000 GETs per second

数据结构
　　redis目前提供四种数据类型：string,list,set及zset(sorted set)。
sds（字符串）
　　string是最简单的类型，你可以理解成与Memcached一模一个的类型，一个key对应一个value，其上支持的操作与Memcached的操作类似。但它的功能更丰富。

　　redis采用结构sdshdr和sds封装了字符串，字符串相关的操作实现在源文件sds.h/sds.c中。sdshdr

　　数据结构定义如下：

　　typedef char *sds;

　　struct sdshdr {

　　long len;

　　long free;

　　char buf[];

　　};
list(双向链表)
　　list是一个链表结构，主要功能是push、pop、获取一个范围的所有值等等。操作中key理解为链表的名字。

　　对list的定义和实现在源文件adlist.h/adlist.c，相关的数据结构定义如下：

　　// list迭代器

　　typedef struct listIter {

　　listNode *next;

　　int direction;

　　} listIter;

　　// list数据结构

　　typedef struct list {

　　listNode *head;

　　listNode *tail;

　　void *(*dup)(void *ptr);

　　void (*free)(void *ptr);

　　int (*match)(void *ptr, void *key);

　　unsigned int len;

　　listIter iter;

　　} list;
dict(hash表)
　　set是集合，和我们数学中的集合概念相似，对集合的操作有添加删除元素，有对多个集合求交并差等操作。操作中key理解为集合的名字。

　　在源文件dict.h/dict.c中实现了hashtable的操作，数据结构的定义如下：

　　// dict中的元素项

　　typedef struct dictEntry {

　　void *key;

　　void *val;

　　struct dictEntry *next;

　　} dictEntry;

　　// dict相关配置函数

　　typedef struct dictType {

　　unsigned int (*hashFunction)(const void *key);

　　void *(*keyDup)(void *privdata, const void *key);

　　void *(*valDup)(void *privdata, const void *obj);

　　int (*keyCompare)(void *privdata, const void *key1, const void *key2);

　　void (*keyDestructor)(void *privdata, void *key);

　　void (*valDestructor)(void *privdata, void *obj);

　　} dictType;

　　// dict定义

　　typedef struct dict {

　　dictEntry **table;

　　dictType *type;

　　unsigned long size;

　　unsigned long sizemask;

　　unsigned long used;

　　void *privdata;

　　} dict;

　　// dict迭代器

　　typedef struct dictIterator {

　　dict *ht;

　　int index;

　　dictEntry *entry, *nextEntry;

　　} dictIterator;

　　dict中table为dictEntry指针的数组，数组中每个成员为hash值相同元素的单向链表。set是在dict的基础上实现的，指定了key的比较函数为dictEncObjKeyCompare，若key相等则不再插入。
zset(排序set)
　　zset是set的一个升级版本，他在set的基础上增加了一个顺序属性，这一属性在添加修改元素的时候可以指定，每次指定后，zset会自动重新按新的值调整顺序。可以理解了有两列的mysql表，一列存value，一列存顺序。操作中key理解为zset的名字。

　　typedef struct zskiplistNode {

　　struct zskiplistNode **forward;

　　struct zskiplistNode *backward;

　　double score;

　　robj *obj;

　　} zskiplistNode;

　　typedef struct zskiplist {

　　struct zskiplistNode *header, *tail;

　　unsigned long length;

　　int level;

　　} zskiplist;

　　typedef struct zset {

　　dict *dict;

　　zskiplist *zsl;

　　} zset;

　　zset利用dict维护key -> value的映射关系，用zsl(zskiplist)保存value的有序关系。zsl实际是叉数

　　不稳定的多叉树，每条链上的元素从根节点到叶子节点保持升序排序。

存储结构以及存储格式
　　redis使用了两种文件格式：全量数据和增量请求。全量数据格式是把内存中的数据写入磁盘，

　　便于下次读取文件进行加载；增量请求文件则是把内存中的数据序列化为操作请求，用于读取文件进行replay得到数据，序列化的操作包括SET、RPUSH、SADD、ZADD。

　　redis的存储分为内存存储、磁盘存储和log文件三部分，配置文件中有三个参数对其进行配置。

　　save seconds updates，save配置，指出在多长时间内，有多少次更新操作，就将数据同步到数据文件。这个可以多个条件配合，比如默认配置文件中的设置，就设置了三个条件。

　　appendonly yes/no ，appendonly配置，指出是否在每次更新操作后进行日志记录，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为redis本身同步数据文件是按上面的save条件来同步的，所以有的数据会在一段时间内只存在于内存中。

　　appendfsync no/always/everysec ，appendfsync配置，no表示等操作系统进行数据缓存同步到磁盘，always表示每次更新操作后手动调用fsync()将数据写到磁盘，everysec表示每秒同步一次。

常用命令
　　就DB来说，Redis成绩已经很惊人了，且不说memcachedb和tokyocabinet之流，就说原版的memcached，速度似乎也只能达到这个级别。Redis根本是使用内存存储，持久化的关键是这三条指令：SAVE BGSAVE LASTSAVE …

　　当接收到SAVE指令的时候，Redis就会dump数据到一个文件里面。

　　值得一说的是它的独家功能：存储列表和集合，这是它与mc之流相比更有竞争力的地方。

　　不介绍mc里面已经有的东东，只列出特殊的：

　　TYPE key — 用来获取某key的类型

　　KEYS pattern — 匹配所有符合模式的key，太淫荡了，比如KEYS * 就列出所有的key了，当然，复杂度O(n)

　　RANDOMKEY - 返回随机的一个key

　　RENAME oldkey newkey — key也可以改名

　　列表操作，精华

　　RPUSH key string — 将某个值加入到一个key列表头部

　　LPUSH key string — 将某个值加入到一个key列表末尾

　　LLEN key — 列表长度

　　LRANGE key start end — 返回列表中某个范围的值，相当于mysql里面的分页查询那样

　　LTRIM key start end — 只保留列表中某个范围的值

　　LINDEX key index — 获取列表中特定索引号的值，要注意是O(n)复杂度

　　LSET key index value — 设置列表中某个位置的值

　　LPOP key

　　RPOP key — 和上面的LPOP一样，就是类似栈或队列的那种取头取尾指令，可以当成消息队列来使用了

　　集合操作

　　SADD key member — 增加元素

　　SREM key member — 删除元素

　　SCARD key — 返回集合大小

　　SISMEMBER key member — 判断某个值是否在集合中

　　SINTER key1 key2 ... keyN — 获取多个集合的交集元素

　　SMEMBERS key — 列出集合的所有元素

　　还有Multiple DB的命令，可以更换db，数据可以隔离开，默认是存放在DB 0

安装Redi
获取源码、解压、进入源码目录
　　使用wget工具等下载：

　　wget （百度不让用链接）

　　tar xzf redis-1.2.6.tar.gz

　　cd redis-1.2.6
编译生成可执行文件
　　由于makefile文件已经写好，我们只需要直接在源码目录执行make命令进行编译即可：

　　make

　　make命令执行完成后，会在当前目录下生成本个可执行文件，分别是redis-server、redis-cli、redis-benchmark、redis-stat，它们的作用如下：

　　redis-server：Redis服务器的daemon启动程序

　　redis-cli：Redis命令行操作工具。当然，你也可以用telnet根据其纯文本协议来操作

　　redis-benchmark：Redis性能测试工具，测试Redis在你的系统及你的配置下的读写性能

　　redis-stat：Redis状态检测工具，可以检测Redis当前状态参数及延迟状况。
建立Redis目录（非必须）
　　这个过程不是必须的，只是为了将Redis相关的资源统一管理而进行的操作。

　　执行以下命令建立相关目录并拷贝相关文件至目录中：

　　sudo -s

　　mkdir -p /usr/local/redis/bin

　　mkdir -p /usr/local/redis/etc

　　mkdir -p /usr/local/redis/var

　　cp redis-server redis-cli redis-benchmark redis-stat /usr/local/redis/bin/

　　cp redis.conf /usr/local/redis/etc/
配置参数
　　在我们成功安装Redis后，我们直接执行redis-server即可运行Redis，此时它是按照默认配置来运行的（默认配置甚至不是后台运行）。我们希望Redis按我们的要求运行，则我们需要修改配置文件，Redis的配置文件就是我们上面第二个cp操作的redis.conf文件，目前它被我们拷贝到了/usr/local/redis/etc/目录下。修改它就可以配置我们的server了。如何修改？下面是redis.conf的主要配置参数的意义：

　　daemonize：是否以后台daemon方式运行

　　pidfile：pid文件位置

　　port：监听的端口号

　　timeout：请求超时时间

　　loglevel：log信息级别

　　logfile：log文件位置

　　databases：开启数据库的数量

　　save * *：保存快照的频率，第一个*表示多长时间，第三个*表示执行多少次写操作。在一定时间内执行一定数量的写操作时，自动保存快照。可设置多个条件。

　　rdbcompression：是否使用压缩

　　dbfilename：数据快照文件名（只是文件名，不包括目录）

　　dir：数据快照的保存目录（这个是目录）

　　appendonly：是否开启appendonlylog，开启的话每次写操作会记一条log，这会提高数据抗风险能力，但影响效率。

　　appendfsync：appendonlylog如何同步到磁盘（三个选项，分别是每次写都强制调用fsync、每秒启用一次fsync、不调用fsync等待系统自己同步）

　　下面是一个略做修改后的配置文件内容：

　　daemonize yes

　　pidfile /usr/local/redis/var/redis.pid

　　port 6379

　　timeout 300

　　loglevel debug

　　logfile /usr/local/redis/var/redis.log

　　databases 16

　　save 900 1

　　save 300 10

　　save 60 10000

　　rdbcompression yes

　　dbfilename dump.rdb

　　dir /usr/local/redis/var/

　　appendonly no

　　appendfsync always

　　glueoutputbuf yes

　　shareobjects no

　　shareobjectspoolsize 1024

　　将上面内容写为redis.conf并保存到/usr/local/redis/etc/目录下

　　然后在命令行执行：

　　/usr/local/redis/bin/redis-server /usr/local/redis/etc/redis.conf

　　即可在后台启动redis服务，这时你通过

　　telnet 127.0.0.1 6379

　　即可连接到你的redis服务