一、Redis介绍
Redis 和 Memcached 一样都属于键值数据库,但是支持数据持久化,能够让数据从内存中保存在磁盘里,即使重启服务器数据也依然存在;同时也支持更多 value 类型,除了 string 外,还支持 hash、lists(链表)、sets(集合)和 sorted sets(有序集合)几种数据类型。 redis 使用了两种文件格式: 1)全量数据(RDB):是把内存中的数据写入磁盘,便于下次读取文件进行加载。 2)增量请求(AOF):是把内存中的数据序列化为操作请求,用于读取文件进行replay得到数据。 redis 存储分为内存储存、磁盘存储和log文件三部分。
Redis安装配置 1
2
3
| [iyunv@gz1 ~]# cd /usr/local/src/
[iyunv@gz1 redis-2.8.21]# yum install -y gcc epel-release ;yum install -y jemalloc-devel
[iyunv@gz1 src]# wget 'https://codeload.github.com/antirez/redis/tar.gz/2.8.21' -O redis-2.8.21.tar.gz
|
1
2
3
| [iyunv@gz1 src]# tar -zxvf redis-2.8.21.tar.gz
[iyunv@gz1 src]# cd redis-2.8.21
[iyunv@gz1 redis-2.8.21]# make
|
注意:若make报错,执行以下命令
1
| [iyunv@gz1 redis-2.8.21]# cd deps;make hiredis lua jemalloc linenoise;cd ..;make
|
若看到Hint: It's a good idea to run 'make test' ;)说明已经成功了
1
2
3
| [iyunv@gz1 redis-2.8.21]# make PREFIX=/usr/local/redis install
[iyunv@gz1 redis-2.8.21]# ls /usr/local/redis/
bin
|
创建配置文件
1
2
| [iyunv@gz1 redis-2.8.21]# mkdir /usr/local/redis/etc
[iyunv@gz1 redis-2.8.21]# cd /usr/local/redis/etc/
|
编辑配置文件
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
| [iyunv@gz1 etc]# vim redis.conf
daemonize yes
pidfile /usr/local/redis/var/redis.pid
port 6379
timeout 300
loglevel debug
logfile /usr/local/redis/var/redis.log
databases 16
save 900 1
save 300 10
save 60 10000
rdbcompression yes
dbfilename dump.rdb
dir /usr/local/redis/var/
appendonly no
appendfsync always
~
|
配置参数说明:
#daemonize:是否以后台daemon方式运行
#pidfile:pid文件位置 #port:监听的端口号 #timeout:请求超时时间 #loglevel:log信息级别 #logfile:log文件位置 #databases:开启数据库的数量 #save * *:保存快照的频率,第一个*表示多长时间,第二个*表示执行多少次写操作。在一定时间内执行一定数量的写操作时,自动保存快照。可设置多个条件 #rdbcompression:是否使用压缩 #dbfilename:数据快照文件名(只是文件名,不包括目录) #dir:数据快照的保存目录(这个是目录) #appendonly:是否开启appendonlylog,开启的话每次写操作会记一条log,这会提高数据抗风险能力,但影响效率 #appendfsync:appendonlylog如何同步到磁盘(三个选项,分别是每次写都强制调用fsync、每秒启用一次fsync、不调用fsync等待系统自己同步) #requirepass 123456:设置密码,我这里注释掉了。 编辑启动脚本
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
| [iyunv@gz1 etc]# vim /etc/init.d/redis
#!/bin/sh
#
# redis init file for starting up the redis daemon
#
# chkconfig: - 20 80
# description: Starts and stops the redis daemon.
# Source function library.
. /etc/rc.d/init.d/functions
name="redis-server"
basedir="/usr/local/redis"
exec="$basedir/bin/$name"
pidfile="$basedir/var/redis.pid"
REDIS_CONFIG="$basedir/etc/redis.conf"
[ -e /etc/sysconfig/redis ] && . /etc/sysconfig/redis
lockfile=/var/lock/subsys/redis
start() {
[ -f $REDIS_CONFIG ] || exit 6
[ -x $exec ] || exit 5
echo -n $"Starting $name: "
daemon --user ${REDIS_USER-redis} "$exec $REDIS_CONFIG"
retval=$?
echo
[ $retval -eq 0 ] && touch $lockfile
return $retval
}
stop() {
echo -n $"Stopping $name: "
killproc -p $pidfile $name
retval=$?
echo
[ $retval -eq 0 ] && rm -f $lockfile
return $retval
}
restart() {
stop
start
}
reload() {
false
}
rh_status() {
status -p $pidfile $name
}
rh_status_q() {
rh_status >/dev/null 2>&1
}
case "$1" in
start)
rh_status_q && exit 0
$1
;;
stop)
rh_status_q || exit 0
$1
;;
restart)
$1
;;
reload)
rh_status_q || exit 7
$1
;;
force-reload)
force_reload
;;
status)
rh_status
;;
condrestart|try-restart)
rh_status_q || exit 0
restart
;;
*)
echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart}"
exit 2
esac
exit $?
|
1
2
3
4
| [iyunv@gz1 etc]# useradd -s /sbin/nologin redis 创建一个普通用户
[iyunv@gz1 etc]# mkdir /usr/local/redis/var
[iyunv@gz1 etc]# chmod 777 /usr/local/redis/var
[iyunv@gz1 etc]# chmod 755 /etc/init.d/redis
|
启动redis服务
1
2
3
4
5
6
7
8
| [iyunv@gz1 etc]# chkconfig --add redis 加入启动列表
[iyunv@gz1 etc]# chkconfig redis on 开机启动
[iyunv@gz1 etc]# service redis start
/etc/init.d/redis: line 1: a#!/bin/sh: No such file or directory
启动 : [确定]
[iyunv@gz1 etc]# ps aux |grep redis
redis 7380 0.1 0.7 137372 7476 ? Ssl 13:21 0:00 /usr/local/redis/bin/redis-server *:6379
root 7385 0.0 0.0 103316 892 pts/1 S+ 13:21 0:00 grep redis
|
redis数据结构
1、string string是简单的类型,可以理解成与Memcached一样的类型,一个key对应一个value;支持的操作也与Memcached的操作类似,不过它的功能更丰富。可以存二进制的对象。
操作之前先做个别名,因为进入redis的命令很长,每次输入都很麻烦。 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
| [iyunv@gz1 etc]# alias redis-cli='/usr/local/redis/bin/redis-cli'
[iyunv@gz1 etc]# vim .bashrc //写入后开机自动会加载
alias redis-cli='/usr/local/redis/bin/redis-cli'
[iyunv@gz1 etc]# redis-cli //若设置了密码,则登入的命令为:redis-cli -a 123456
127.0.0.1:6379>
示例1:
127.0.0.1:6379> set key1 hello
OK
127.0.0.1:6379> get key1
"hello"
127.0.0.1:6379> mset key1 helloworld key2 howareyou key3 youarewelcome
OK
127.0.0.1:6379> mget key1 key2 key3
1) "helloworld"
2) "howareyou"
3) "youarewelcome" Ctrl+d 退出
|
2、list list 是一个链表结构(相当于一个管道,随时可以从左右插入和取出值,区别于只能先进后出的站),主要功能是 push、pop、获取一个范围的所有值等等。操作中 key 理解为链表的名字。使用 List 结构,我们可以轻松地实现最新消息排行等功能(比如微博的 TimeLine)。list 的另一个应用就是消息队列,可以利用 list 的 push 操作,将任务存在 list 中,然后工作线程再用 pop 操作将任务取出进行执行。 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
| 127.0.0.1:6379> lpush list1 123 //从左边插入数值
(integer) 1
127.0.0.1:6379> lpush list1 aaa
(integer) 2
127.0.0.1:6379> lpush list1 bbb
(integer) 3
127.0.0.1:6379> lpush list1 "ccc ddd"
(integer) 4
127.0.0.1:6379> lrange list1 0 -1 //从左边开始获取所有值,没有从右边的命令
1) "ccc ddd"
2) "bbb"
3) "aaa"
4) "123"
127.0.0.1:6379> lpop list1 //从左边取出一个值
"ccc ddd"
127.0.0.1:6379> lrange list1 0 -1
1) "bbb"
2) "aaa"
127.0.0.1:6379> rpush list1 fff //从右边插入数值
(integer) 3
127.0.0.1:6379> lrange list1 0 -1
1) "bbb"
2) "aaa"
3) "fff"
127.0.0.1:6379> rpop list1 //从右边取出一个值
"123"
127.0.0.1:6379> lrange list1 0 -1
1) "ccc ddd"
2) "bbb"
3) "aaa"
|
set
set 即集合,和我们数学中的集合概念相似,对集合的操作有添加、删除元素,有对多个集合求交、并、差等操作。操作中的 key 理解为集合的名字。 比如微博应用中,可以将一个用户所有的关注人存储在一个集合中,将其所有粉丝存储在一个集合。因为 Redis 非常人性化的为集合提供了求交集、并集、差集等操作,你还可以使用不用的命令选择将结果返回给客户端还是存储到一个新的集合中。
另外QQ也有一个社交功能叫“好友标签”,大家可以给好友贴标签,比如“高富帅”“白富美”“欧巴”等,这时就可以使用 Redis 的集合来实现,把每一个用户的标签都存储在一个集合之中。 示例:
1
2
3
4
5
6
7
8
9
10
11
12
13
| 127.0.0.1:6379> sadd set1 aaa //添加集合set1数值
(integer) 1
127.0.0.1:6379> sadd set1 bbb
(integer) 1
127.0.0.1:6379> sadd set1 ccc
(integer) 1
127.0.0.1:6379> sadd set1 ddd
(integer) 1
127.0.0.1:6379> smembers set1 //获取集合中数值(无序的列出)
1) "aaa"
2) "bbb"
3) "ddd"
4) "ccc"
|
sorted set sorted set 即有序集合,它比 set 多一个权重参数 score,使得集合中的元素能够按 score 进行有序排列,比如一个存储全班同学成绩的 Sorted Sets,其集合 value 可以是同学的学号,而 score 就可以是其考试成绩,这样在数据插入集合的时候,就已经进行了天然的排序。 示例:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
| 127.0.0.1:6379> zadd set2 10 aaa //10为权重参数 score,下同
(integer) 1
127.0.0.1:6379> zadd set2 2 bbb
(integer) 1
127.0.0.1:6379> zadd set2 6 ccc
(integer) 1
127.0.0.1:6379> zadd set2 13 "ab cd"
(integer) 1
127.0.0.1:6379> zadd set2 8 "ef-gh"
(integer) 1
127.0.0.1:6379> zrange set2 0 -1 //正序排列输出
1) "bbb"
2) "ccc"
3) "ef-gh"
4) "aaa"
5) "ab cd"
127.0.0.1:6379> zrevrange set2 0 -1 //倒序排列输出
1) "ab cd"
2) "aaa"
3) "ef-gh"
4) "ccc"
5) "bbb"
|
hash 在 Redis 中,我们经常将一些结构化的信息打包成 hashmap,在客户端序列化后存储为一个字符串的值(一般是 JSON 格式)。可以把多个键值对存储到一个 hash 中去,比如用户的昵称、年龄、性别可以存储到一个 hash 中去。
示例: 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
| 127.0.0.1:6379> hset hash1 name tpp
(integer) 1
127.0.0.1:6379> hset hash1 age 25
(integer) 1
127.0.0.1:6379> hset hash1 sex man
(integer) 1
127.0.0.1:6379> hgetall hash1 //全部取出
1) "name"
2) "tpp"
3) "age"
4) "25"
5) "sex"
6) "man"
127.0.0.1:6379> hget hash1 name //取出单个
"tpp"
|
Redis持久化
Redis 提供了两种持久化的方式,分别是 RDB(Redis DataBase)和AOF(Append Only File)。
RDB 简而言之就是在不同的时间点,将 redis 存储的数据生成快照并存储到磁盘等介质上。 AOF 则是换了一个角度来实现持久化,是将 redis 执行过的所有写指令记录下来,在下次 redis 重新启动时,只要把这些写指令从前到后再重复执行一遍,就可以实现数据恢复了。
其实 RDB 和 AOF 两种方式可以同时使用,在这种情况下,如果 redis 重启的话,则会优先采用 AOF方式来进行数据恢复,这是因为 AOF 方式的数据恢复完整度更高。
如果没有数据持久化的需求,也完全可以关闭 RDB 和 AOF 方式,这样的话,redis将会变成一个纯内存数据库,就像 Memcached 一样。 Redis配置文件解析
配置文件:/usr/local/redis/etc/redis.conf 1、查看及重设配置 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
| 127.0.0.1:6379> config get *
1) "dbfilename"
2) "dump.rdb"
3) "requirepass"
4) ""
5) "masterauth"
6) ""
7) "unixsocket"
8) ""
9) "logfile"
10) "/usr/local/redis/var/redis.log"
11) "pidfile"
12) "/usr/local/redis/var/redis.pid"
13) "maxmemory"
14) "0"
15) "maxmemory-samples"
16) "3"
17) "timeout"
18) "300"
19) "tcp-keepalive"
20) "0"
21) "auto-aof-rewrite-percentage"
22) "100"
23) "auto-aof-rewrite-min-size"
24) "67108864"
25) "hash-max-ziplist-entries"
26) "512"
27) "hash-max-ziplist-value"
28) "64"
29) "list-max-ziplist-entries"
30) "512"
31) "list-max-ziplist-value"
32) "64"
33) "set-max-intset-entries"
34) "512"
35) "zset-max-ziplist-entries"
36) "128"
37) "zset-max-ziplist-value"
38) "64"
39) "hll-sparse-max-bytes"
40) "3000"
41) "lua-time-limit"
42) "5000"
43) "slowlog-log-slower-than"
44) "10000"
45) "latency-monitor-threshold"
46) "0"
47) "slowlog-max-len"
48) "128"
49) "port"
50) "6379"
51) "tcp-backlog"
52) "511"
53) "databases"
54) "16"
55) "repl-ping-slave-period"
56) "10"
57) "repl-timeout"
58) "60"
59) "repl-backlog-size"
60) "1048576"
61) "repl-backlog-ttl"
62) "3600"
63) "maxclients"
64) "4064"
65) "watchdog-period"
66) "0"
67) "slave-priority"
68) "100"
69) "min-slaves-to-write"
70) "0"
71) "min-slaves-max-lag"
72) "10"
73) "hz"
74) "10"
75) "repl-diskless-sync-delay"
76) "5"
77) "no-appendfsync-on-rewrite"
78) "no"
79) "slave-serve-stale-data"
80) "yes"
81) "slave-read-only"
82) "yes"
83) "stop-writes-on-bgsave-error"
84) "yes"
85) "daemonize"
86) "yes"
87) "rdbcompression"
88) "yes"
89) "rdbchecksum"
90) "yes"
91) "activerehashing"
92) "yes"
93) "repl-disable-tcp-nodelay"
94) "no"
95) "repl-diskless-sync"
96) "no"
97) "aof-rewrite-incremental-fsync"
98) "yes"
99) "aof-load-truncated"
100) "yes"
101) "appendonly"
102) "no"
103) "dir"
104) "/usr/local/redis/var"
105) "maxmemory-policy"
106) "volatile-lru"
107) "appendfsync"
108) "always"
109) "save"
110) "900 1 300 10 60 10000"
111) "loglevel"
112) "debug"
113) "client-output-buffer-limit"
114) "normal 0 0 0 slave 268435456 67108864 60 pubsub 33554432 8388608 60"
115) "unixsocketperm"
116) "0"
117) "slaveof"
118) ""
119) "notify-keyspace-events"
120) ""
121) "bind"
122) ""
|
2、Redis通用配置 1)daemonize no //默认情况下redis并不是以daemon形式来运行的,通过daemonize配置项可以控制redis的运行方式。
2)pidfile /path/to/redis.pid //当以daemon形式运行时,redis会默认生成一个pid文件/var/run/redis.pid 3)bind 192.168.1.2 10.8.4.2 //指定绑定的ip,可以有多个 4)port 6379 //指定监听端口 5)unixsocket /tmp/redis.sock //也可以监听socket 6)unixsocketperm 755 //当监听socket时可以指定权限为755 7)timeout 0 //当一个redis-client一直没有请求发出server端,那么server端有权主动关闭这个连接,可以通过timeout来设置“空闲超时时限”,0表示永不关闭。 8)tcp-keepalive 0 //tcp连接保活策略,可以通过tcp-keepalive配置项来进行设置,单位为秒,假如设置为60秒,则server端会每60秒向连接空闲的客户端发起一次ACK请求,以检查客户端是否已经挂掉,对于无响应的客户端则会关闭其连接。如果设置为0,则不会进行保活检测。
9)loglevel notice //日志级别,有debug、verbose、notice、warning四种。 10)logfile "" //定义日志路径
11)syslog-ident redis //如果希望日志打印到syslog中,通过syslog-enabled来控制。另外,syslog-ident还可以让你指定syslog里的日志标志。 12)syslog-facility local0 //指定syslog的设备,可以是USER或者local0-local7 13)databases 16 //设置数据库的总数量,select n选择数据库,0-15 3、Redis快照配置(RDB持久化) 1)save 900 1 //表示每15分钟且至少有1个key改变,就触发一次持久化
2)save 300 10 //表示每5分钟且至少有10个key改变,就触发一次持久化 3)save 60 10000 //表示每60秒且至少有10000个key改变,就触发一次持久化 4)save "" //这样可以禁用RDB持久化 5)stop-writes-on-bgsave-error yes //RDB持久化写入磁盘避免不了会出现失败的情况,默认一旦出现失败,redis会马上停止写操作。如果你觉得无所谓,那就可以使用该选项关闭这个功能。 6)rdbcompression yes //是否要压缩 7)rdbchecksum yes //是否进行数据校验 8)dbfilename dump.rdb //定义快照文件的名字 9)dir ./ //定义快照文件存储路径
4、Redis安全相关配置 1)requirepass 123456 //设置redis-server的密码,登入命令为:redis-cli -a 123456
2)rename-command config tpplinux.config //将config命令更名为tpplinux.config,这样可以避免误操作,但如果使用了AOF持久化,建议不要启用该功能。 3)rename-command config "" //定义为空,表示禁掉了config命令。
5、Redis限制相关配置 1)maxclients 10000 //限制最大客户端连接数 2)maxmemory <bytes> //设定最大内存使用数,单位是byte
3)maxmemory-policy volatile-lru //指定内存移除规则 4)maxmemory-samples 3 //LRU算法和最小TTL算法都并非是精确的算法,而是估算值。所以你可以设置样本的大小。假如redis默认会检查三个key,并选择其中LRU的那个,那么你可以改变这个key样本的数量。
6、Redis AOF持久化相关配置 1)appendonly yes //开启持久化 2)appendfilename "appendonly.aof" //指定aof文件(二进制日志形式)名字,保存在dir参数指定的目录 3)appendfsync everysec //指定fsync()调用模式,有三种:no(不调用fsync)、always(每次写都会调用fsync)、ecverysec(每秒钟调用一次fsync)。第一种最快;第二种数据最安全,但性能会差一些;第三种为这种方案,默认为第三种。 4)no-appendfsync-on-reweite no //使用no可避免当写入量非常大时的磁盘io阻塞。
5)auto-aof-rewrite-percentage 10 //规定什么情况下会触发aof重写。该值为一个比例,10表示当aof文件增幅达到10%时则会触发重写机制。 6)auto-aof-rewrite-min-size 64mb //重写会有一个条件,就是不能低于64MB
7、Redis 慢日志相关配置 针对慢日志,可以设置两个参数,一个是执行时长,单位是微秒;另一个是慢日志的长度。当一个新的命令被写入日志时,最老的一条会从命令日志队列中被移除。 1)slowlog-log-slower-than 10000 //慢于10000微秒,则记录日志 2)slowlog-max-len 128 //日志长度
|