redis主从复制同步数据死循环问题

丹调生活

　　redis主从复制同步数据死循环问题
　　发现现象：
　　最近有问必答codis一个从库端口6504一直时不时，主从延时和从库连接不上的报警，开始怀疑是redis备份导致，没有深入去找原因，后面发现白天也在报警，故深入排查了一下原因。
　　host: 10.20.1.4
　　port: 6504
　　idc: KDDI
　　role: redis_s
　　item: r_replication
　　current: 32767
　　last: 1 minutes.
　　info:
　　send at [2015-11-27 09:17:49]
　　------------------------------------------
　　host: 10.20.1.4
　　port: 6504
　　idc: KDDI
　　role: redis_s
　　item: r_connection
　　current: 0
　　last: 1 minutes.
　　info: failed
　　send at [2015-11-27 08:13:46]
　　问题现象：
　　1、登录到从库所在服务器，奇怪的发现了，从库周期性的在产生temp-rewriteaof-xxx.aof文件,见下图

　　2、从库的日志里面出现大量“Connection with master lost”日志，从句面意思来理解是说主库连接丢失，见下图

　　3、登录到主库,查看日志发现了"Connection with slave 10.20.1.4:6504 lost"和“scheduled to be closed ASAP for overcoming of output buffer limits.”两条重要信息

　　4、登录到主库使用info命令发现“slave0:ip=10.20.1.4,port=6504,state=send_bulk,offset=0,lag=0”

　　问题分析：
　　1、通过从库周期性的生成aof文件以及日志里面看到周期性的连接主库lost现象，初步怀疑是复制层面的问题，并查看其他几个从库的日志没有发现这种情况，先排除网络问题
　　2、在主库也发现了连接从库lost现象，确定是6504端口redis内部的问题，并且看到“overcoming of output buffer limits”，提示buffer限制了
　　3、以上信息基本上可以确认问题的原因，先回想一下redis主从复制原理：当在从库执行slaveof ip port命令之后，主库会使用bgsave生成一个rdb快照文件，生成文件之后通过网络将这个文件传到从库，同时主库上会将生成rdb快照那一刻起的新数据写的一个buffer缓冲区，另一方面，从库接受主库刚刚生成那个rdb文件之后，开始加载这个rdb文件，加载需要一定时间，如果这个时间越长，其主库的写入量越大，那么刚刚主库产生的buffer也会越大（当然不能无限大），在主库client-output-buffer-limit参数 slave 268435456 67108864 60设置了其大小，意思说如果buffer大小超过256Mb或者连续60秒钟产生的buffer大小大于64Mb，则buffer会强制关闭
　　解决办法：
　　1、调整主库client-output-buffer-limit默认参数，CONFIG SET client-output-buffer-limit "slave 1073741824 268435456 300"，将其限制设置为1G,连续300秒超过256Mb才强制关闭，问题解决。
　　在主库的日志里面看到现象如下：

　　在从库的日志里面看到现象如下：