设为首页 收藏本站
查看: 1216|回复: 0

[经验分享] 【pipeline】【分布式的id生成器】【分布式锁【watch】【multi】】【redis分布式】

[复制链接]

尚未签到

发表于 2016-12-21 08:33:48 | 显示全部楼层 |阅读模式
  转自 http://www.bwkeji.com/a/wangzhanjichu/kaifa/20120712/14824.html
  一、 Pipeline 
官方的申明是:starts a pipeline,which is a very efficient way to send lots of command and read all the responses when you finish sending them。简单点说pipeline实用于批处理惩罚。当有多量的操纵须要一次性履行的时辰,可以用管道。 
示例: 
Jedis jedis = new Jedis(String, int); 
Pipeline p = jedis.pipelined(); 
p.set(key,value);//每个操纵都发送恳求给redis-server 
p.get(key,value); 

p.sync();//这段代码获取所有的response 
这里我进行了20w次连气儿操纵(10w读,10w写),不消pipeline耗时:187242ms,用pipeline耗时:1188ms,可见应用管道后的机能上了一个台阶。看了代码懂得到,管道经由过程一次性写入恳求,然后一次性读取响应。也就是说jedis是:request response,request response,...;pipeline则是:request request... response response的体式格式。如许无需每次恳求都守候server端的响应。 

二、 跨jvm的id生成器 
谈到这个话题,起首要知道redis-server端是单线程来处理惩罚client端的恳求的。 
如许来实现一个id生成器就很是简单了,只要简单的调用jdeis.incr(key);就搞定了。 
你或许会问,incr是原子操纵吗,能包管不会呈现并发题目吗,不是说了吗,server端是单线程处理惩罚恳求的。 

三、 【跨jvm的锁实现【watch】【multi】】 
起首说下这个题目的应用处景,有些时辰我们营业逻辑是在不合的jvm过程甚至是不合的物理机上的jvm处理惩罚的。如许如何来实现不合jvm上的同步题目呢,其实我们可以基于redis来实现一个锁。 
具体事务和请参考文章:redis进修笔记之事务 
临时找到三种实现体式格式: 
1. 经由过程jedis.setnx(key,value)实现 
     import java.util.Random; 
import org.apache.commons.pool.impl.GenericObjectPool.Config; 

import redis.clients.jedis.Jedis; 
import redis.clients.jedis.JedisPool; 
import redis.clients.jedis.Transaction; 

/** 
* @author Teaey 
*/ 
public class RedisLock { 
    //加锁标记 
    public static final String LOCKED = "TRUE"; 
    public static final long ONE_MILLI_NANOS = 1000000L; 
    //默认超不时候(毫秒) 
    public static final long DEFAULT_TIME_OUT = 3000; 
    public static JedisPool pool; 
    public static final Random r = new Random(); 
    //锁的超不时候(秒),过期删除 
    public static final int EXPIRE = 5 * 60; 
    static { 
        pool = new JedisPool(new Config(), "host", 6379); 
    } 
    private Jedis jedis; 
    private String key; 
    //锁状况标记 
    private boolean locked = false; 

    public RedisLock(String key) { 
        this.key = key; 
        this.jedis = pool.getResource(); 
    } 

    public boolean lock(long timeout) { 
        long nano = System.nanoTime(); 
        timeout *= ONE_MILLI_NANOS; 
        try { 
            while ((System.nanoTime() - nano) < timeout) { 
                if (jedis.setnx(key, LOCKED) == 1) { 
                    jedis.expire(key, EXPIRE); 
                    locked = true; 
                    return locked; 
                } 
                // 短少憩眠,nano避免呈现活锁 
                Thread.sleep(3, r.nextInt(500)); 
            } 
        } catch (Exception e) { 
        } 
        return false; 
    } 
    public boolean lock() { 
        return lock(DEFAULT_TIME_OUT); 
    } 

    // 无论是否加锁成功,必须调用 
    public void unlock() { 
        try { 
            if (locked) 
                jedis.del(key); 
        } finally { 
            pool.returnResource(jedis); 
        } 
    } 
}2. 经由过程事务(multi)实现 
因为采取第一张办法,第二种跟第三种实现只贴了关键代码,望谅解。^_^ 
     public boolean lock_2(long timeout) {        long nano = System.nanoTime(); 
        timeout *= ONE_MILLI_NANOS; 
        try { 
            while ((System.nanoTime() - nano) < timeout) { 
                Transaction t = jedis.multi(); 
                // 开启事务,当server端收到multi指令 
                // 会将该client的号令放入一个队列,然后依次履行,知道收到exec指令 
                t.getSet(key, LOCKED); 
                t.expire(key, EXPIRE); 
                String ret = (String) t.exec().get(0); 
                if (ret == null || ret.equals("UNLOCK")) { 
                    return true; 
                } 
                // 短少憩眠,nano避免呈现活锁 
                Thread.sleep(3, r.nextInt(500)); 
            } 
        } catch (Exception e) { 
        } 
        return false; 
    }3. 经由过程事务+实现 
    public boolean lock_3(long timeout) {        long nano = System.nanoTime(); 
        timeout *= ONE_MILLI_NANOS; 
        try { 
            while ((System.nanoTime() - nano) < timeout) { 
                jedis.watch(key); 
                // 开启watch之后,若是key的值被批改,则事务失败,exec办法返回null 
                String value = jedis.get(key); 
                if (value == null || value.equals("UNLOCK")) { 
                    Transaction t = jedis.multi(); 
                    t.setex(key, EXPIRE, LOCKED); 
                    if (t.exec() != null) { 
                        return true; 
                    } 
                } 
                jedis.unwatch(); 
                // 短少憩眠,nano避免呈现活锁 
                Thread.sleep(3, r.nextInt(500)); 
            } 
        } catch (Exception e) { 
        } 
        return false; 
    }终极采取第一种实现,因为加锁只需发送一个恳求,效力最高。 
四、 【redis分布式】 
    最后一个话题,jedis的分布式。在jedis的源码里发了然两种hash算法(MD5,MURMUR Hash(默认)),也可以本身实现redis.clients.util.Hashing接口扩大。 
    List<JedisShardInfo> hosts = new ArrayList<JedisShardInfo>();        //server1 
        JedisShardInfo host1 = new JedisShardInfo("", 6380, 2000); 
        //server2 
        JedisShardInfo host2 = new JedisShardInfo("", 6381, 2000); 
        hosts.add(host1); 
        hosts.add(host2); 
        ShardedJedis jedis = new ShardedJedis(hosts); 
        jedis.set("key", "");

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-317121-1-1.html 上篇帖子: 生而为程序员,真对不起,Redis的队列简单实现 下篇帖子: Redis官方文档(16) ——高可用(下)
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表