设为首页 收藏本站
查看: 1263|回复: 0

[经验分享] Redis总结(五)缓存雪崩和缓存穿透等问题

[复制链接]

尚未签到

发表于 2017-12-20 14:45:59 | 显示全部楼层 |阅读模式
  前面讲过一些redis 缓存的使用和数据持久化。感兴趣的朋友可以看看之前的文章,http://www.cnblogs.com/zhangweizhong/category/771056.html 。今天总结总结缓存使用过程中遇到的一些常见的问题。比如缓存雪崩,缓存穿透,缓存预热等等。

缓存雪崩
  缓存雪崩是由于原有缓存失效(过期),新缓存未到期间。所有请求都去查询数据库,而对数据库CPU和内存造成巨大压力,严重的会造成数据库宕机。从而形成一系列连锁反应,造成整个系统崩溃。
  1. 碰到这种情况,一般并发量不是特别多的时候,使用最多的解决方案是加锁排队。
  

        public object GetProductListNew()  {
const int cacheTime = 30;const string cacheKey = "product_list";const string lockKey = cacheKey;var cacheValue = CacheHelper.Get(cacheKey);if (cacheValue != null)  {
return cacheValue;  }
else  {
lock (lockKey)  {
  cacheValue
= CacheHelper.Get(cacheKey);if (cacheValue != null)  {
return cacheValue;  }
else  {
  cacheValue
= GetProductListFromDB(); //这里一般是 sql查询数据。  
                        CacheHelper.Add(cacheKey, cacheValue, cacheTime);
  }                    
  }
  return cacheValue;
  }
  }   
  

  2. 加锁排队只是为了减轻数据库的压力,并没有提高系统吞吐量。假设在高并发下,缓存重建期间key是锁着的,这是过来1000个请求999个都在阻塞的。同样会导致用户等待超时,这是个治标不治本的方法。
  还有一个解决办法解决方案是:给每一个缓存数据增加相应的缓存标记,记录缓存的是否失效,如果缓存标记失效,则更新数据缓存。
  

     public object GetProductListNew()  {
const int cacheTime = 30;const string cacheKey = "product_list";//缓存标记。  const string cacheSign = cacheKey + "_sign";
  var sign = CacheHelper.Get(cacheSign);
  //获取缓存值
  var cacheValue = CacheHelper.Get(cacheKey);
  if (sign != null)
  {
  return cacheValue; //未过期,直接返回。
  
            }
  else
  {
  CacheHelper.Add(cacheSign, "1", cacheTime);
  ThreadPool.QueueUserWorkItem((arg) =>
  {
  cacheValue = GetProductListFromDB(); //这里一般是 sql查询数据。
  CacheHelper.Add(cacheKey, cacheValue, cacheTime*2); //日期设缓存时间的2倍,用于脏读。               
  
                });
  return cacheValue;
  }
  }
  

  缓存标记:记录缓存数据是否过期,如果过期会触发通知另外的线程在后台去更新实际key的缓存。
  缓存数据:它的过期时间比缓存标记的时间延长1倍,例:标记缓存时间30分钟,数据缓存设置为60分钟。 这样,当缓存标记key过期后,实际缓存还能把旧数据返回给调用端,直到另外的线程在后台更新完成后,才会返回新缓存。
  这样做后,就可以一定程度上提高系统吞吐量。
  缓存穿透
  缓存穿透是指用户查询数据,在数据库没有,自然在缓存中也不会有。这样就导致用户查询的时候,在缓存中找不到,每次都要去数据库再查询一遍,然后返回空。这样请求就绕过缓存直接查数据库,这也是经常提的缓存命中率问题。
  解决的办法就是:如果查询数据库也为空,直接设置一个默认值存放到缓存,这样第二次到缓冲中获取就有值了,而不会继续访问数据库,这种办法最简单粗暴。
  

        public object GetProductListNew()  {
const int cacheTime = 30;const string cacheKey = "product_list";  

var cacheValue = CacheHelper.Get(cacheKey);if (cacheValue != null)return cacheValue;  cacheValue
= CacheHelper.Get(cacheKey);if (cacheValue != null)  {
return cacheValue;  }
else  {
  cacheValue
= GetProductListFromDB(); //数据库查询不到,为空。  if (cacheValue == null)
  {
  cacheValue = string.Empty; //如果发现为空,设置个默认值,也缓存起来。               
  
                }
  CacheHelper.Add(cacheKey, cacheValue, cacheTime);
  return cacheValue;
  }
  }   
  

  把空结果,也给缓存起来,这样下次同样的请求就可以直接返回空了,即可以避免当查询的值为空时引起的缓存穿透。同时也可以单独设置个缓存区域存储空值,对要查询的key进行预先校验,然后再放行给后面的正常缓存处理逻辑。
  缓存预热
  缓存预热就是系统上线后,将相关的缓存数据直接加载到缓存系统。这样避免,用户请求的时候,再去加载相关的数据。
  解决思路:
  1,直接写个缓存刷新页面,上线时手工操作下。
  2,数据量不大,可以在WEB系统启动的时候加载。
  3,定时刷新缓存,

缓存更新
  缓存淘汰的策略有两种:
  (1) 定时去清理过期的缓存。
  (2)当有用户请求过来时,再判断这个请求所用到的缓存是否过期,过期的话就去底层系统得到新数据并更新缓存。  
  两者各有优劣,第一种的缺点是维护大量缓存的key是比较麻烦的,第二种的缺点就是每次用户请求过来都要判断缓存失效,逻辑相对比较复杂,具体用哪种方案,大家可以根据自己的应用场景来权衡。1. 预估失效时间 2. 版本号(必须单调递增,时间戳是最好的选择)3. 提供手动清理缓存的接口。
  我前面有篇文章,是介绍缓存系统的缓存更新的。感兴趣的朋友可以看看:http://www.cnblogs.com/zhangweizhong/p/5884761.html
  总结
  这些都是实际项目中,可能碰到的一些问题。实际上还有很多很多各种各样的问题。缓存层框架的封装往往要复杂的多。应用场景不同,方法和解决方案也不同。具体要根据实际情况来取舍。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-426073-1-1.html 上篇帖子: SpringBoot 入门教程:集成mybatis,redis 下篇帖子: 在redis中使用lua脚本让你的灵活性提高5个逼格
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表