刘连春 关于memcached使用的两个坑

lyd2004888

　　http://hi.baidu.com/joysoftfan/blog/item/e6deaae459d7ae3ab9382035.html

刘连春 关于memcached使用的两个坑
2011-03-03 13:11

关于slab之间无法共享内存： 　　Memcached里的数据是按不同的size放在不同的slab里，每个slab有一个自己的LRU链表， slab占用内存的方式是只进不出，假设memcached内存上限为1000M，我存入1000M 100k大小的数据，过期时间都是1秒， 1秒后尝试set一条500k的数据就会失败，虽然前期的100k数据都是过期的,也没有办法将其它slab的内存“借”过来用。这就是slab之间无法 共享内存的现象， 使用memcached的时候我们必须十分小心。 　　关于过期时间： 　　现在我们公司使用的memcached服务器版本是1.2.2 　　这个版本的memcached是没有主动回收过期item功能的，也就是说即使存入的数据都设置成1秒钟后过期，每秒钟插入一条数 据，memcached也会先把内存吃光，然后才按照LRU的规则删除后面的数据，这种情况下，设不设置过期时间是没有区别的， 过期时间在1.2.2版本上只有当有人get这条item的时候，才会检查item是否过期，如果过期了就将item占用的内存释放掉， 　　也就是说，存入数据后，如果没有人访问这条数据，过期时间是不起作用的。 　　1.4.5版本的memcached改进了对过期时间的处理，当存入一条数据时，它会检查最后50条数据里是否有已过期的数据，如果有就将其释放，这样就不用去占用新的内存了。但这里也有一个很明显的缺点，如果最后50条数据都是不过期的，即使其他的数据都过期了也没用。 　　为了优化过期数据处理，我在1.4.5版本基础上写了个patch, 当slab里的内存不够用，想要申请系统内存时，扫描一下整个slab, 将过期的item释放掉。 为了不影响set的性能，这个检查10秒钟内最多进行一次。 经实际测试，对memcached的性能影响几乎为0。 　　建议使用memcached 1.2.2 的地方尽量将版本升级到1.4.5, 最好是能打我写的补丁。 　　机票现在正在分批进行升级。 　　补丁包： 　　qunar-memcached-1.4.5-1.0.1.patch 　　--------- 　　http://www.echohello.cn/download/memcached_allocator_slab_langwan.pdf 　　孙立  13:10:15 　　memcached的确有这些问题 　　http://www.echohello.cn/download/memcached_allocator_slab_langwan.pdf 　　孙立  13:10:33 　　这个pdf是我们这边做的分析 　　孙立  13:13:13 　　你们的分析跟我的结果有点不一样，LRU算法不是保证过期才剔除，而是不太常用的就剔除 　　David 　　------------------- 　　LRU算法不是保证过期才剔除，而是不太常用的就剔除 　　这句话是对的，我也是这个意思。 　　而且LRU不是全局的，而是每个slab一个LRU链表， 　　根据大小被划分到不同slab的item是彼此不受影响的， item只能挤走和自己在一个slab里的item. 　　如果一个item长时间没有被访问或更新，就会排到LRU的尾部， 　　GET 的时候会导致item被移到LRU的头部，只是有一个小限制，1个item, 1分钟内最多更新一次。 也就是如果每秒都访问一次相同的key, 连续访问1分钟，和只访问1次，对item在LRU中位置的影响是一样的。