设为首页 收藏本站
查看: 1180|回复: 0

[经验分享] 理论加实践,谈谈我对memcached的学习感悟!

[复制链接]
累计签到:1 天
连续签到:1 天
发表于 2015-8-31 12:31:35 | 显示全部楼层 |阅读模式
  近几天,浏览了大量的memcached相关文章,又自己动手实践了一番
至此,对memcached有了更加深入的了解
在继续编写memcached操作类(基于java_memcached-release)的同时
留下一些自认为比较重要的知识,算是总结一下吧
如果其中有理解不当的,请高手给予指点,万分感谢!
也欢迎正在或即将使用memcached的朋友一起分享学习心得,有意者请email:inetwild@gmail.com
  一、常用命令

  • 将memcached.exe安装为Windows服务:memcached.exe -d install
  • 启动memcached服务:memcached.exe -d start
  • 启动memcached服务(windows命令):net start "memcached Server"
  • 停止memcached服务(windows命令):net stop "memcached Server"
  • 连接到memcached控制台:telnet ServerIP 11211
  • 打印当前memcached服务器状态:stats
  • 打印当前memcached服务器Items(记录)的统计信息:stats items
  • 打印当前memcached服务器Slab(分区)及Chunk(块)的统计信息:stats slabs
  • 打印指定Slab中的KEY列表(可用于遍历items,但效率较低,慎用!):stats cachedump SlabId Limit_num。显示结果:ITEM KeyName [ValueByteLength b; LastAccessTime s]。值得注意的是,经过测试确认:那个LastAccessTime并不是记录到期时间,而是最后一次的get时间,并且get之后,也不会自动延长expiry(到期时间)。
  • 添加新记录:add KeyName 0 0 ValueByteLength [回车] ValueContent
  • 删除记录 : delete KeyName
  • 添加或更新记录 : set KeyName 0 0 ValueByteLength [回车] ValueContent
  • 更新记录 : replace KeyName 0 0 ValueByteLength [回车] ValueContent
  二、Think in memcached

  • memcached预先将可支配的内存空间进行分区(Slab),每个分区里再分成多个块(Chunk),但同一个分区里:块的长度(bytes)是固定的
  • 可以将memcached的这种内存管理方式理解为Table,分区(Slab)就是列(Col),而块(Chunk)就是这列下面相同宽度的单元格(Td
  • 虽然各个Slab的长度不同,但容量却是相同的。例如:Slab Class1的Chunk长度:128,个数:8192,Slab Class1的内存容量:128 * 8192 = 1M;Slab Class2的Chunk长度:256,个数:4096,Slab Class2的内存容量:256 * 4096 = 1M。
  • 有新的记录要存入memcached时,首先根据记录的长度查找刚好能够容纳下它的Slab,再找到这个分区里闲置的Chunk,存入即可。
  • 内存浪费的一个小场景:要存入一个100bytes的记录,但最合适的Slab却是128bytes,那么每存入一个这样的记录,就会产生28bytes的闲置内存
  • 将记录从memcached删除后,已经分配的内存(即Chunk),也不会被释放,而是会重复利用,这样就彻底解决了内存碎片的问题
  • memcached采用“惰性”方式来应对记录的超期问题,就是它不会主动去监视记录是否超期,而是在每次get时查看记录的时间戳,如果已超期就会扔掉。这样的好处就是不会占用宝贵的CPU资源。比如,在使用flushAll命令清除全部items后,使用stats命令查看items统计数是不变的,除非get一个不存在的记录之后,stats的统计结果才会减少1个,不过使用delete命令删除记录,stats的统计结果却会马上表现出来
  • 有新记录入住时,memcached为它推荐房间(Slab)的优先级是:闲置的 > 该退房的(超期的) > 已有人却很少过来住的(get命中数最少的)。这种方式简称:LRU
  • memcached最大的特点就是“分布式”,可以为一个应用部署多个memcached服务器,根据其负载权重(weight),自动进行简单而又有效的任务均衡。
  • 当memcached向多个Server保存一条记录时,会根据特定算法生成一个“”,这个“键”决定了这条记录会被打发到哪台服务器;同样,当提取这条记录时,也会根据同样的算法得到这个“”,那么也会清楚当初是哪台服务器接收的这条记录,返回就没问题了。
  • 在将memcached用于生产环境时,最好根据存储记录的平均长度对memcached的Slab分区规则进行设置,来尽量减少内存浪费及最大化利用好内存资源。(具体方式不详)
  • 更多待补充
  三、在Java项目中使用memcached

  • 面向Java的memcached客户端,目前为止我知道的有两种:

    • 阿里软件:memcache-client-forjava
    • gwhalin: Memcached-Java-Client

  • 阿里的客户端用的人蛮多的,据说效率也很不错,以后有时间会好好学习一下,但我现在主要使用的还是第二种:java_memcached-release
  • 刚开始使用的是java_memcached-release_1.6,算是比较老的版本了,提供的API较少,仅包含最常用的几个命令。优点是支持压缩功能,在add或set时,如果value大于指定bytes,会自动对其进行压缩,个人觉得这个功能还是很实用的。
  • 后来尝试performance分支下的java_memcached-release_2.6.6,二进制包下载地址:https://github.com/gwhalin/Memcached-Java-Client/downloads
  • 该分支由Schooner中国团队开发完成,向你们致敬!
  • 使用上与1.6的基本兼容,重载或新增了很多常用的函数,更方便了,主要是性能上有300%左右的提升,并且重新实现的连接池,修复了之前连接数太多所导致的OutOfMemory异常问题。但可惜的是,从2.6.1开始,不再支持压缩功能,据说这样可以减少CPU负担。所以,需要将以前用1.6写的JAVA初始化客户端部分关于压缩的两个参数注释掉:

    • setCompressEnable
    • setCompressThreshold

  
  过几天将发布本人基于java_memcached-release_2.6.6封装的memcached操作类,支持服务器配置文件,对于没有使用spring的项目还是很合适的。
  
  
  
  

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-106808-1-1.html 上篇帖子: 在Windows下编译和.NET运行MemCached 下篇帖子: NorthScale Memcached Server尝试总结(二)
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表