redis 笔记二

dyok

　　1. reids Persistence持久化
在默认情况下，Redis将数据集的快照通过一个名为dump.rdb的二进制文件保存在磁盘上，在redis.conf里设置dbfilename。可以手动条用save和bgsave来保存到dump.rdb里去，这两个命令的不同之处在与save是同步，直到保存完毕之后才有返回值，而bgsave是异步的，调用bgsave后就有返回值，保存的动作在后台运行。



import redis
import time
m = redis.Redis(host='127.0.0.1',port=6379,db=0)
for i in range(30000):
m.set(str(i),str(i))
b = time.time()
print m.save()
print time.time()-b

　　
打印
True
0.11057806015

将m.save()换成m.bgsave()打印的内容是
True
0.0021960735321
另外也可以通过redis.conf设置参数来自动保存
save 60 10000
意识是在60s内至少有10000条数据变化是调用保存命令，默认的情况下有
save 900 1
save 300 10
save 60 10000
也就是说设置多个save的策略

redis持久化的方式
快照(Snapshotting):
    1. redis调用fork，将会得到一个子进程和一个父进程
    2. 父进程还是处理请求，子进程将内容写入临时文件中（这里涉及到copy-on-write，不是很了解），子进程的地址空间内的数 据是fork时刻整个数据库的一个快照。
    3. 当子进程将快照写入临时文件完毕后，用临时文件替换原来的快照文件，退出子进程。
    缺点很明显，每次快照持久化都是将内存数据完整写入到磁盘一次，如果数据量大的话，而且写操作比较多，必然会引起大量的磁盘io操作，可能会严重影响性能。还有自动快照的话，是隔一段时间持久化一次，势必影响了数据的可靠性。
增量文件(aof):
    修改redis.conf里的
    appendfsync everysec|always,推荐everysec，性能折中
    appendonly yes
    appendfilename appendonly.aof
    使用aof持久化方式时,redis会将每一个收到的写命令都通过write函数追加到文件中appendonly.aof。当redis重启时会通过重新执行aof文件中保存的写命令来在内存中重建整个数据库的内容。其实aof也可能导致的数据丢失，当设置appendfsync everysec时，是每秒将命令写入到aof中，所以当这一秒内出现一些异常情况，一样会导致数据丢失。
aof的缺点：同样的set命令执行多次，会导致aof越来越大，同时在重启redis的时候，相同的set也会执行多次。这样无端的增加了系统的开销。reids提供了bgrewriteaof。



m = redis.Redis(host='127.0.0.1',port=6379,db=0)
for i in range(30000):
m.set('1',str(i))

　　看看aof文件的大小（我的是1116716字节）
调用m.bgrewriteaof()
在看看aof文件大小（1027806字节）
我的应用中把redis作为缓存，而且数据量不大，所以对上面的体会比较少，有点纸上谈兵的意识，会慢慢的将这篇文章补充完全的。

2. redis Pipelining管道技术
简单的说就是客户端没有读取到旧请求的响应，服务端依旧可以处理新请求。通过这种方式，可以完全无需等待服务端应答地发送多条指令给服务端，并最终一次性读取所有应答。
当客户端通过管道技术发送命令的时候，服务端将被强制在内存中使用队列应答。因此如果你需要使用管道技术处理非常多的命令时，最好以一个合理的数量发送。



#!/usr/bin/env python
#coding=utf-8
import redis
import time
m = redis.Redis(host='127.0.0.1',port=6379,db=0)
b = time.time()
for i in range(30000):
m.set(str(i),str(i))
print 'set one by one cost time:',time.time()-b#set one by one cost time: 5.61089706421

b = time.time()
p = m.pipeline()
for i in range(30000):
p.set(str(i),str(i))
p.execute()
print 'pipeline cost time:',time.time()-b#pipeline cost time: 1.31098294258