美团在Redis上踩过的一些坑-5.redis cluster遇到的一些问题

webtet

　　转载请注明出处哈:http://carlosfu.iteye.com/blog/2254154
   
　　由于演讲时间有限，有关Redis-Cluster，演讲者没做太多介绍，简单的介绍了一些Redis-Cluster概念作用和遇到的两个问题，我们在Redis-Cluster也有很多运维经验，将来的文章会介绍。
　　但是讲演者反复强调，不要听信网上对于Redis-Cluster的毁谤（实践出真知），对于这一点我很赞同，我们从Redis-Cluster beta版 RC1~4 到现在的3.0-release均没有遇到什么大问题（线上维护600个实例）。
　　一、Redis-Cluster
　　有关Redis-Cluster的详细介绍有很多这里就不多说了，可以参考：
　　1. redis-cluster研究和使用
　　2. Redis Cluster 3.0.5集群实践
　　3. 本博客的一些Redis-Cluster的介绍(未更新完毕)
　　4. Redis设计与实现那本书（作者：黄建宏）：非常的推荐看这本书。

　　总之Redis-Cluster是一个无中心的分布式Redis存储架构，解决了Redis高可用、可扩展等问题。

　　二、两个问题：
　　1. Redis-Cluster主从节点不要在同一个机器部署
　　(1) 以我们的经验看redis实例本身基本不会挂掉，通常是机器出了问题（断电、机器故障）、甚至是机架、机柜出了问题，造成Redis挂掉。
　　(2) 如果Redis-Cluster的主从都在一个机器上，那么如果这台机器挂了，主从全部挂掉，高可用就无法实现。（如果full converage=true，也就意味着整个集群挂掉）
　　(3) 通常来讲一对主从所在机器：不跨机房、要跨机架、可以在一个机柜。
　　2. Redis-Cluster误判节点fail进行切换
　　(1) Redis-Cluster是无中心的架构，判断节点失败是通过仲裁的方式来进行（gossip和raft），也就是大部分节点认为一个节点挂掉了，就会做fail判定。
　　(2) 如果某个节点在执行比较重的操作（flushall, slaveof等等）（可能短时间redis客户端连接会阻塞(redis单线程)）或者由于网络原因，造成其他节点认为它挂掉了，会做fail判定。
　　(3) Redis-Cluster提供了cluster-node-timeout这个参数（默认15秒），作为fail依据（如果超过15秒还是没反应，就认为是挂掉了），具体可以参考这篇文章：Redis-Cluster的FailOver失败案例分析
　　以我们的经验看15秒完全够用。

　　三、未来要介绍的问题：
　　1. Redis-Cluster客户端实现Mget操作。
　　2. Redis-Cluster--Too many Cluster redirections异常。
　　3. Redis-Cluster无底洞问题解析。
　　4. 两个Redis-Cluster集群，meet操作问题后的恶果。
　　5. Redis-Cluster配置之full converage问题。
　　6. Redis-Cluster故障转移测试。
　　7. Redis-Cluster常用运维技巧。
　　8. Redis-Cluster一键开通。
　　9. Redis-Cluster客户端jedis详解。
　　四、附赠一些不错的资料：

• 　　Redis-Cluster的FailOver失败案例分析
  
• 　　Redis Cluster 迁移遇到的各种坑及解决方案
  
• 　　Redis Cluster架构优化
  
• 　　Redis常见集群方案、Codis实践及与Twemproxy比较
  
• 　　Redis Cluster架构优化
  
• 　　【运维实践】鱼与熊掌：使用redis-cluster需要注意些什么？
  
• 　　Docker及和Redis Cluster的化学反应（上）By 芒果TV
  
• 　　Docker及和Redis Cluster的化学反应（下）By 芒果TV
  
• 　　Redis cluster使用经验——网易有道
  
• 　　Redis Cluster浅析和Bada对比
  
• 　　互联网Redis应用场景探讨
  
• 　　Redis集群技术及Codis实践
  
• 　　谈Twitter的百TB级Redis缓存实践
  
• 　　Hadoop、Spark、HBase与Redis的适用性讨论
  
• 　　Codis作者黄东旭细说分布式Redis架构设计和踩过的那些坑们