redis相关知识

爱她吗

　　如果认为Redis是一个key value存储, 可以使用它来代替MySQL；如果认为它是一个可以持久化的cache, 可能只是用它保存一些频繁访问的临时数据（代替Memcached）；除此之外，还可以把Redis当做一个轻量级的消息队列使用，因为它内置就支持 list数据结构和PUB/SUB命令；还可以当做一个轻量级的分布式锁系统。Redis是REmote DIctionary Server的缩写，在Redis在官方网站的解释是：
Redis is an open source, advanced key-value store. It is often referred to as a data structure server since keys can contain strings, hashes, lists, sets and sorted sets.　　本文将会详细介绍Redis的配置文件。
　　1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程
daemonize no　　2. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定
pidfile /var/run/redis.pid　　3. 指定Redis监听端口，默认端口为6379，作者在自己的一篇博文中解释了为什么选用6379作为默认端口，因为6379在手机按键上MERZ对应的号码，而MERZ取自意大利歌女Alessia Merz的名字
port 6379　　4. 绑定的主机地址
bind 127.0.0.1　　5.当客户端闲置多长时间后关闭连接，如果指定为0，表示关闭该功能
timeout 300　　6. 指定日志记录级别，Redis总共支持四个级别：debug、verbose、notice、warning，默认为verbose
loglevel verbose　　7. 日志记录方式，默认为标准输出，如果配置Redis为守护进程方式运行，而这里又配置为日志记录方式为标准输出，则日志将会发送给/dev/null
logfile stdout　　8. 设置数据库的数量，默认数据库为0，可以使用SELECT 命令在连接上指定数据库id
databases 16　　9. 指定在多长时间内，有多少次更新操作，就将数据同步到数据文件，可以多个条件配合
save  　　Redis默认配置文件中提供了三个条件：
save 900 1save 300 10save 60 10000　　分别表示900秒（15分钟）内有1个更改，300秒（5分钟）内有10个更改以及60秒内有10000个更改。
　　10. 指定存储至本地数据库时是否压缩数据，默认为yes，Redis采用LZF压缩，如果为了节省CPU时间，可以关闭该选项，但会导致数据库文件变的巨大
rdbcompression yes　　11. 指定本地数据库文件名，默认值为dump.rdb
dbfilename dump.rdb　　12. 指定本地数据库存放目录
dir ./　　13. 设置当本机为slav服务时，设置master服务的IP地址及端口，在Redis启动时，它会自动从master进行数据同步
slaveof  　　14. 当master服务设置了密码保护时，slav服务连接master的密码
masterauth 　　15. 设置Redis连接密码，如果配置了连接密码，客户端在连接Redis时需要通过AUTH 命令提供密码，默认关闭
requirepass foobared　　16. 设置同一时间最大客户端连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数，如果设置 maxclients 0，表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并向客户端返回max number of clients reached错误信息
maxclients 128　　17. 指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key，当此方法处理后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，会把Key存放内存，Value会存放在swap区
maxmemory 　　18. 指定是否在每次更新操作后进行日志记录，Redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内只存在于内存中。默认为no
appendonly no　　19. 指定更新日志文件名，默认为appendonly.aof
appendfilename appendonly.aof　　20. 指定更新日志条件，共有3个可选值：
　　no：表示等操作系统进行数据缓存同步到磁盘（快）
　　always：表示每次更新操作后手动调用fsync()将数据写到磁盘（慢，安全）
　　everysec：表示每秒同步一次（折衷，默认值）
appendfsync everysec　　21. 指定是否启用虚拟内存机制，默认值为no，简单的介绍一下，VM机制将数据分页存放，由Redis将访问量较少的页即冷数据swap到磁盘上，访问多的页面由磁盘自动换出到内存中（在后面的文章我会仔细分析Redis的VM机制）
vm-enabled no　　22. 虚拟内存文件路径，默认值为/tmp/redis.swap，不可多个Redis实例共享
vm-swap-file /tmp/redis.swap　　23. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0
vm-max-memory 0　　24. Redis swap文件分成了很多的page，一个对象可以保存在多个page上面，但一个page上不能被多个对象共享，vm-page-size是要根据存储的数据大小来设定的，作者建议如果存储很多小对象，page大小最好设置为32或者64bytes；如果存储很大大对象，则可以使用更大的page，如果不确定，就使用默认值
vm-page-size 32　　25. 设置swap文件中的page数量，由于页表（一种表示页面空闲或使用的bitmap）是在放在内存中的，，在磁盘上每8个pages将消耗1byte的内存。
vm-pages 134217728　　26. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的，可能会造成比较长时间的延迟。默认值为4
vm-max-threads 4　　27. 设置在向客户端应答时，是否把较小的包合并为一个包发送，默认为开启
glueoutputbuf yes　　28. 指定在超过一定的数量或者最大的元素超过某一临界值时，采用一种特殊的哈希算法
hash-max-zipmap-entries 64hash-max-zipmap-value 512　　29. 指定是否激活重置哈希，默认为开启（后面在介绍Redis的哈希算法时具体介绍）
activerehashing yes　　30. 指定包含其它的配置文件，可以在同一主机上多个Redis实例之间使用同一份配置文件，而同时各个实例又拥有自己的特定配置文件
include /path/to/local.conf　　Redis2:server启动过程
　　本文将通过分析代码来介绍Redis的启动过程，通过查看Redis 的启动脚本，得知Redis的启动时从Redis.c的main方法开始的。Redis启动可以分为以下几个步骤：
　　1.初始化Redis服务器全局配置
　　2.重置服务器Save参数（具体下文详解）和加载配置文件
　　3.初始化服务器
　　4.加载数据库
　　5.开始网络监听
　　一，初始化Redis服务器全局配置。这一步骤主要是主要是根据Redis.h中设置的Static值来初始化Redis服务器配置，这里设置是Redis服务器的默认配置。如：
　　·TCP Port，Redis Client的缺省Timeout；
　　·Redis缺省的数据库数目；
　　·Redis Append 持久化方式的参数设置；
　　·Redis的所支持的各种数据结构的缺省值的设置；
　　·Redis内存Swap相关设置；
　　·Redis Master & Slave相关的配置；
　　·Redis Command Table初始化。
　　二，加载配置文件：
　　这一步是通过读取的配置文件来对Redis服务器进行设置，将会覆盖上一步的某些缺省设置。打开下载下来的Redis源代码，我们可以看到其根目录下有一个默认的配置文件redis.conf。需要注意的是，如果在启动Redis的时候没有指定配置文件，则Redis服务器在启动的时候是不会加载这个默认的配置文件进行配置的。而且这个默认的配置文件和第一步中得全局默认缺省配置不尽相同，比如针对Redis的Append模式的数据保存策略的配置，redis.conf里面的设置是：
　　save 900 1 -------15分钟内一次更新
　　save 300 10 ------5分钟内10次更新
　　save 60 10000 ---1分钟内10000次更新。
　　而上一步里面的默认缺省配置确实：
　　save 60*60 1 -------一个小时内1次更新
　　save 300 100 ------5分钟内100次更新
　　save 60 10000 ---1分钟内10000次更新。
　　因此我们在启动Redis的时候如果默认配置不能满足要求，则需要指明配置文件进行配置。
　　三，初始化服务器：
　　初始化服务器是在initServer()方法中完成的，次方法利用上两步设置的参数进一步初始化服务器：
　　·创建用来维护clients和slaves的list
　　·创建共享对象。redisObject这个struct里有个变量叫做refcount，这个变量就是用来实现共享的。Redis的对象目前Redis只支持共享StringObject。Redis的共享对象有两大类比：第一类：Redis server的各种操作需要经常用到的各类对象，如：Redis Command的分隔符"\r\n",用于Redis command的reply的"+OK\r\n"或者"-ERR\r\n"等对象，因为在Redis的各种操作这类对象要被频繁使用，所以就在启动Redis的时候创建好，然后共用这些对象，减少时间成本和空间成本；第二，类的共享对象就是对应于数字的StringObject，如：Set "olylakers1" 1234; Set "olylakes2" 1234;在Redis内部，"olylakers1"和"olylakers2"这两个key都指向由数字1234转化的StringObject。这样在海量数据和特定存储内容下，可以节省大量的内存空间。可用通过REDIS_SHARED_INTEGERS这个参数来指定Redis启动的时候创建多少个第二类共享对象，默认的参数是10000，即创建的StrongObject个取值范围是0-9999之间。
　　·创建Pub/Sub通道
　　·初始化网络监听EventLoop的相关内容，如eventLoop，timeEvent，fileEvent等
　　·如果开启了VM，则初始化虚拟内存相关的IO/Thread
　　四，加载数据：
　　根据配置的不同，Redis加载数据的源也不一样，如果在配置文件里设置了appendonly yes（默认是no），那么就从appendfile加载数据，反之则从RedisDb加载数据
　　·从appendfile加载数据：我们先来看一下appendfile的内容是什么。下面的一条记录摘取自appendfile：SET $9 olylakers $3 oly。很显，appendfile保存的就是redis server接收到的各种命令，那么从appendfile加载数据就是redis server从appenfile里面读取这些命令的记录，然后重新把这些命令执行一遍即可。需要注意的是，如果开启了VM，那么在从appendfile加载数据的时候可能要涉及swap操作。
　　·从redisdb加载数据：如果没有开启appendonly，那么则需要从db file加载数据到内存，其过程是：
　　1.通过处理select命令，选择DB
　　2.然后从db file读取key和value
　　3.检查key是否过期，如果过期则跳过这个key，如果不过期，则把数据Add到对应的db的dict中
　　4.如果开启了VM，则从db file中load数据，也可能涉及到swap操作
　　五，开始网络监听：
　　Redis的网络监听没有采用libevent等，而是自己实现了一套简单的机遇event驱动的API，具体见ae.c。
　　Redis3:持久化
　　redis使用了两种文件格式：全量数据和增量请求。全量数据格式是把内存中的数据写入磁盘，
　　便于下次读取文件进行加载；增量请求文件则是把内存中的数据序列化为操作请求，用于读取文件进行replay得到数据，序列化的操作包括SET、RPUSH、SADD、ZADD。
　　redis对interger根据值范围采用不同的编码存储，具体如下：
　　值范围
　　字节数(byte)
　　编码格式
　　[0, 1