设为首页 收藏本站
查看: 932|回复: 0

[经验分享] redis 惊群的处理

[复制链接]

尚未签到

发表于 2016-12-19 09:57:35 | 显示全部楼层 |阅读模式
   缓存惊群现象,在各种缓存中都会存在这种现象,这里以Redis为例,提供一种解决思路,留作参考~
   
  首先,所谓的缓存过期引起的“惊群”现象是指,在大并发情况下,我们通常会用缓存来给数据库分压,但是会有这么一种情况发生,那就是当一个缓存数据失效之后会导致同时有多个并发线程去向后端数据库发起请求去获取同一个数据,这样如果在一段时间内同时生成了大量的缓存,然后在另外一段时间内又有大量的缓存失效,这样就会导致后端数据库的压力突然增大,这种现象就可以称为“缓存过期产生的惊群现象”!
 
 
代码如下:
 
/**
     * 获取缓存
     * @param $key string $name
     * @return array,object,number,string,boolean
     * @desc 使用了“锁机制”来防止防止缓存过期时所产生的惊群现象,保证只有一个进程拉取数据,可以更新,其他进程仍然获取过期数据
     */
    public function getByLock($key)
    {
        $sth = $this->redis->get($key);   //todo 缓存伪造的时间($ttl)过期了(比数据真实的过期时间多了300s),只能去后台拉取数据
 
        if ($sth === false) {
            return $sth;
        } else {
            $sth = json_decode($sth, TRUE);
            if (intval($sth['expire']) <= time()) {   //todo 伪造时间尚未过期的情况下,真实时间($exp)过期,需要判断是否存在“唯一进程后台拉取新数据”的这个锁,如果存在则表明已经有一个进程在后台拉取新的数据了,其他的进程当前只能使用旧的数据
               
               $lock = $this->redis->incr($key . ".lock");
                if ($lock === 1) {                  // todo 证明该资源有唯一一个进程在拉取新数据从而加锁了
                    return false;
                } else {
                    return $sth['data'];
                }
            } else {                                 //todo 真实的时间未过期,返回当前redis数据即可
                return $sth['data'];
            }
        }
    }
 
    /**
     * 设置缓存
     * @param $key string $name 缓存键
     * @param $value $string ,array,object,number,boolean $value 缓存值
     * @param null $ttl $string ,number $ttl 过期时间,如果不设置,则使用默认时间,如果为 infinity 则为永久保存
     * @return bool
     * @desc 此方法存储的数据会自动加入一些其他数据来避免惊群现象,如需保存原始数据,请使用 set
     */
    public function setByLock($key, $value, $ttl = null)
    {
        if (is_numeric($ttl) && intval($ttl) > 0) {
            $ttl = intval($ttl);
            $exp = time() + $ttl;
        } else {
            $ttl = 300;
            $exp = time() + $ttl;
        }
        empty($ttl) OR $ttl += 300;         //todo 增加redis缓存时间,使程序有足够的时间生成缓存(伪造的过期时间)
        $arg = array("data" => $value, "expire" => $exp);
        $rs = $this->redis->setex($key, $ttl, json_encode($arg, TRUE));
        $this->redis->del($key . ".lock");   //todo 需要删除“唯一进程后台拉取新数据”的这个锁,在获取数据的时候才能进行判断是否允许一个进程进行拉取数据
        return $rs;
    }
 
  原理就是:
   
  首先,在存储数据的时候,设置数据的过期时间($ttl,伪造的过期时间)比实际设置的过期时间($exp,真实的过期时间)多300秒,然后存储的数据中,通过一个数组来存储数据,数组中一个键用来存放真实的数据,另外一个键用来存放数据的真实过期时间($exp),这个留到后期获取数据的时候做校验,然后把对应这个数据的“锁”删除掉。
   
  这里这么做的原因和读取数据的做法相关!
   
  然后,在读取数据的时候,依然像平时一样直接读取,如果数据已经超过了有效期($ttl),那么就只能去读后端数据库。如果数据依然有效,则需要去判断,判断数据“在真正的有效期内是否失效”,如果没有失效,则直接返回数据!
   
  重点是,假如数据“在伪造的有效期内没有失效,而在真正的有效期内已经失效”,那么这时就需要去判断“数据的锁”!
   
  通过代码“$lock = $this->redis->incr($key . ".lock");”可以获取数据的锁,“$lock === 1”表示数据没有锁,那么这一次请求需要发送到后端数据库去读取最新的数据,否则的话表示该数据已经加了锁,也就是已经有一个线程去后端读取数据了,那么后来的线程也就没有权限再去后端取数据,需要等到前面的那个线程执行结束,但是这次读取就只能读取“旧的数据”了!
   
   
  通过上面的解释也就明白,为什么在存储数据的时候需要“删除数据的锁”!因为一旦数据被重新存储,那么说明已经有一个线程去后端得到了最新的数据,那么该数据的锁就可以释放,然后下一个线程在获取数据的时候如果有需要就可以得到这个锁,然后才有权限进入到后端去读取新数据!
    

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-316276-1-1.html 上篇帖子: 安装Redis PHP扩展 下篇帖子: 9.redis数据备份
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表