Linux的企业-Redis数据库、缓存和哨兵Sentinal、Redis高可用

q666123

　　一.Redis简介
　　Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。   它支持多种类型的数据结构，如       字符串（strings），    散列（hashes），    列表（lists），    集合（sets），    有序集合（sorted sets） 与范围查询，    bitmaps，    hyperloglogs 和    地理空间（geospatial） 索引半径查询。    Redis 内置了    复制（replication），LUA脚本（Lua scripting），    LRU驱动事件（LRU eviction），事务（transactions）   和不同级别的    磁盘持久化（persistence），   并通过    Redis哨兵（Sentinel）和自动    分区（Cluster）提供高可用性（high availability）
　　二.安装redis

　　2.启动redis

　　如果出现以下错误，可能是库的问题，使用make MALLOC=libc即可
　　[root@server1 redis-4.0.1]# make
　　cd src && make all
　　make[1]: Entering directory `/root/redis-4.0.1/src'
　　CC adlist.o
　　In file included from adlist.c:34:
　　zmalloc.h:50:31: error: jemalloc/jemalloc.h: No such file or directory
　　zmalloc.h:55:2: error: #error "Newer version of jemalloc required"
　　make[1]: *** [adlist.o] Error 1
　　make[1]: Leaving directory `/root/redis-4.0.1/src'
　　make: *** [all] Error 2
　　[root@server1 redis-4.0.1]# make MALLOC=libc
　　三.安装redis
　　bind 全网段

　　进入redis，创建数据
　　数据是内存快照，保存到/var/lib/redis，格式为rdb

、

　　四.在server2和server3安装redis，测试数据同步

　　可以查看到server2和server3数据同步

　　五.Redis的哨兵
　　Redis的哨兵(sentinel)系统用于管理多个 Redis服务器,该系统执行以下三个任务:
　　·        监控(Monitoring):哨兵(sentinel)会不断地检查你的Master和Slave是否运作正常。
　　·        提醒(Notification):当被监控的某个Redis出现问题时,哨兵(sentinel)可以通过 API 向管理员或者其他应用程序发送通知。
　　·        自动故障迁移(Automatic failover):当一个Master不能正常工作时，哨兵(sentinel)会开始一次自动故障迁移操作,它会将失效Master的其中一个Slave升级为新的Master,并让失效Master的其他Slave改为复制新的Master;当客户端试图连接失效的Master时,集群也会向客户端返回新Master的地址,使得集群可以使用Master代替失效Master。
　　1.在server1配置sentinel哨兵文件

　　server1为主，server2和server3为从

　　设置宕机反应时间

　　2.将sentinel.conf文件传给server2和server3

　　3.server1、server2、server3启动哨兵

　　4.将server1 主节点shutdown，30s后，在server3上查看master切换到server2

　　4.重新启动，将server1的sentinel.conf文件里的主修改为server2

　　六.Redis高可用
　　在server1上开多个不同端口的redis
　　1.安装rubygems模块，使得gem模块可以调用redis

　　rhel6.5 如果本地没有redis-3.3.1.gem 可以升级ruby，直接从网上下载

　　2.将redis-trib.rb命令拷到/usr/local/bin下，方便使用命令

　　3.在/usr/local/新建redis-cluster
　　在redis-cluster下新建30001-30006

　　配置30001的redis文件

　　daemonize yes
　　pidfile /usr/local/redis-cluster/30001/redis.pid
　　logfile /usr/local/redis-cluster/30001/redis.log
　　port 30001
　　dir /usr/local/redis-cluster/30001/
　　cluster-enabled yes
　　cluster-config-file cluster.conf
　　cluster-node-timeout 10000
　　appendonly yes
　　
　　配置完成后，启动服务，在30001目录里redis-server 30001/redis.conf

　　4.按照30001的方法配置30002-30006，修改里面的目录和端口，配置完启动

　　
　　查看进程和端口

　　5.创建集群
　　选择yes
　　三个mastar，三个slave
　　master有槽位，一共16383，id一样的为一组主从，一对主从不能同时坏掉，一但一对主从都坏掉，集群失效

　　6.查看集群信息，从30001接口进入，接口30001-30006都可以

　　测试：

　　7.检测集群状态

　　8.从30002接口进入，关闭2节点，从从30003接口登陆，数据没有丢失，从 从机30005上将数据取出

　　恢复节点2，集群正常

　　
　　但30005变为master，30002变为slave

　　9.添加新节点
　　新建30007和30008

　　（1）将30007添加为master

　　查看集群状态，30007没有槽位

　　平均master槽位

　　（2）将30008添加为slave

　　10.登陆测试取值，发现原来name的槽位平均到master30007上

　　六.redis持久化
　　RDB工作原理：
　　每隔N分钟或N次写的操作后，Redis将数据库快照保存在名字为dump.rdb的二进制文件中。压缩，然后放到备份目录中。
　　比如说，一下设置会让Redis在满足“60秒内有至少1000个键被改动”这一条件时，自己保存数据集：
　　save 60 1000
　　这种方法持久化方式被称为快照。
　　RDB相关参数：
　　save 900 1  #刷新快照到磁盘中，必须满足2个要求才会触发，即900秒之后只是有1个关键字发生变化
　　stop-wrties-on-bgsave-error yes #后台存储错误停止写
　　rebcompression yes #使用LZF压缩rdb文件
　　rebchecksum yes #存储和加载rdb文件时校验
　　dbfilename dump.rdb #设置rdb文件名
　　dir ./   #设置工作目录,rdb文件会写入该目录。
　　RDB的优点：
　　1.RDB是一个非常紧凑的文件，它保存了Redis在某个时间段的数据集。这种文件非常适合备份，比如说，你可以在最近24小时内，每小时备份一次RDB文件，并且在每个月的每一天，也备份一次RDB文件。这样的话，即使遇到了问题，也可以还原到不同的版本。
　　2.RDB在恢复大数据集时比aof恢复速度快
　　3.RDB可以最大化Redis性能：父进程在保存RDB文件时唯一要做的就是fork出一个子进行，然后这个子进程就会处理接下来所有保存工作，父进程无须操作I/O操作
　　4.RDB保存的是一个镜像文件，可以将它直接传送到别人数据模块中
　　RDB的缺点：
　　如果在2个保存点之后保存数据，可能会丢失1-N分钟的数据；如果你需要尽量在服务器故障时丢失数据，那么RDB不适合你。虽然RDB允许你设置不同的保存点来控制保存RDB文件的频率。但是，因为RDB文件需要保存的是整个数据集的状态，所以它并不是一个轻松的操作。因为你可能需要5分钟才保存一次RDB文件。在这种情况下，可能会丢失好几分钟的数据。
　　AOF工作原理：
　　也就是使用日志文件来记录所有的写操作命令，并在服务器启动时，重新启动这次命令来还原数据集。
　　AOF相关参数：
　　appendonly no  #是否打开aof日志功能
　　appendfsync always #每一个命令都立即写入到aof，安全，速度慢
　　appendfsync everysec  #每秒写1次
　　appendfsync no  #写入功能让操作系统判断缓存区大小统一写入到aof，同步速率慢，速度快
　　no-appendfasy-on-rewrite yes  #正在导入rdb快照过程中，需不要停止同步aof
　　auto-aof-rewrite-percentage 100 #aof文件大小比起上次重写时的大小，增长率100%时，重写
　　auto-aof-rewrite-min-size 60mb #aof文件超过60M时才进行重写
　　注:在dump.rdb过程中 ,aof如果停止同步，会不会丢失？
　　答：不会，所有的操作缓存在内存的队列里，dump完成后，统一操作
　　注：aof重写是指什么？
　　答：aof重写是指把内存中命令，逆话命令，写入到aof日志里。
　　问：如果rdb文件与aof文件同时存在，优先用谁来恢复数据？
　　答：aof
　　问：恢复时rdb与aof哪个恢复的快？
　　答：rdb，因为其是数据的内存映射，直接载入到内存。而aof是命令，需要逐条执行
　　AOF的重写的执行步骤：
　　1.Redis执行fork（），现在同时拥有父进程和子进程
　　2.子进程开始将新AOF文件的内容写入到临时文件
　　3.对于所有新执行的写入命令，父进程一边将它们累计到一个内存缓存中，一边将这些改动追加到现有AOF文件的末尾；这样即使在重写的过程中发生停机，现有的aof文件也是安全的
　　AOF的优点
　　1.aof默认的策略是每秒钟执行一次，在这种配置下，Redis仍然可以保持良好的性能，并且就算发生了故障，也是丢失一秒钟的数据
　　2.Redis可以在AOF文件过大的情况自动进行重写：重写后的新aof文件包含了恢复当前数据集所需的最小命令集合，因为Redis在创建新的aof文件时，会继续将命令追加到现有的aof文件里面，即使重写过程发生了停机，而aof文件而不会丢失。而一旦新aof文件创建完毕，Redis就会从旧的aof文件中切换到新的aof文件，并开始对新的aof文件进行追加操作。
　　AOF的缺点
　　1对于相同数据集的文件，aof文件的体积通常比rdb文件大
　　2.根据fasy策略，aof的速度比rdb慢
　　3.aof在国庆曾经发生了这样的问题，因为个别命令的原因，导入aof文件重新载入时，无法将数据集恢复到保存时的原样。
　　4.当子线程完成重写工作时，它给父进程发送一个信号，父进程在接收信号之后，将内存中所有数据追加到新aof文件的末尾。