ts7758258 发表于 2018-12-24 13:16:48

memcached演练(5) 内存管理

  memcached 是高性能的分布式内存缓存服务器。一般的使用目的是,通过缓存数据库查询结果,减少数据库访问次数,以提高动态 Web 应用的速度、提高可扩展性。很显然,弄清楚它的内存存储,很有必要。还是那句话,不需要兜书包了,把自己整理的相关memcached内存管理方面的框架图分享一下。
  http://s3.运维网.com/wyfs02/M02/85/EF/wKioL1ev3LqxbhLQAASqGDiEGmU670.png
  

  个人喜欢把内存管理,分为3个学习单元。

[*]  如何分配内存?

[*]  如何回收内存?
[*]  如何监控内存?
  当然,本文的主要演练重点也有了。

[*]  内存如何分配

[*]  内存如何回收
[*]  认识监控参数
[*]  验证一些边界数据
  1.如何分配内存?
  1.1 默认启动内存分配情况

http://s5.运维网.com/wyfs02/M01/85/EF/wKiom1ev4-yC9LhFAAF9Caoi5bs161.png
  这段输出日志,可以分成2部分阅读。第一部分是slab内存分配信息;第二个:启用监听情况。
  有3点没太搞清楚。

[*]  为什么每次启动都是2个"send buffer....",而且都是28,32。

[*]  每个server listening前面的26-35的数字编号是何含义?为什么不从0开始。
[*]  括号里面的udp,是说明监听UDP类型协议吗?监听TCP协议监听呢呢?
  有对这一块比较清楚的麻烦指导下,但还好不清楚这几点不影响大局。
  1.2 自定义启动规则

  接下来,通过修改下启动参数,看下输出的日志。对比学习下。
http://s3.运维网.com/wyfs02/M01/85/EF/wKiom1ev7S7TyCcvAADpi2GMIvQ734.png
  通过对比,我们很容易理解一些基本概念。chunk size,增长因子。
  值得一提的的有一个指标。

## -t 4时,监控curr_connections
## 4*2+2=10
# echo stats | nc 127.0.0.1 11211 |grep connection
STAT curr_connections 10
## -t 2时,监控curr_connections
## 2*2+2=6
# echo stats | nc 127.0.0.1 11211 |grep connection
STAT curr_connections 6  3. 监控保存数据前后slab信息

  保存数据之前监控slabs信息如下
# echo stats slabs | nc 127.0.0.1 11211
STAT active_slabs 0
STAT total_malloced 0  保存数据之后监控slabs信息如下
set key 1 1 1
1
STORED
set key2 1 0 1
1
STORED
set key2 1 0 1
1
STORED
set key3 1 0 1
3
STORED
# echo stats slabs | nc 127.0.0.1 11211
STAT 1:chunk_size 80
STAT 1:chunks_per_page 13107
STAT 1:total_pages 1
STAT 1:total_chunks 13107
STAT 1:used_chunks 2
STAT 1:free_chunks 13105
STAT 1:free_chunks_end 0
STAT 1:mem_requested 108
STAT 1:get_hits 0
STAT 1:cmd_set 4
STAT 1:delete_hits 0
STAT 1:incr_hits 0
STAT 1:decr_hits 0
STAT 1:cas_hits 0
STAT 1:cas_badval 0
STAT 1:touch_hits 0
STAT active_slabs 1
STAT total_malloced 1048560
END  通过分析日志,可以很清楚的知道,发起的操作记录。
  共发起了4个set或add操作.使用了2个大小为80的chunk。
  值得一提下,保存的数据都非常小,却占用了160字节。好心疼浪费的存储空间啊。
  通过监控total_malloced指标,还验证了,memcached采用预分配,分组管理方式。
  当真正有数据保存时,才真正分配内存空间。而且,只有slab class被使用了之后,才能通过stat slabs监控到。
  2.内存如何回收
  内存回收不太方便验证,LRU算法使用情况,我们可以从侧面验证下。
  我的演练思路:批量添加等大小的数据。然后dump出想要数据,确认下最小的KEY。
  虽然简单粗暴,但大体可以说明LRU算法吧。
  2.1 准备批量添加数据代码
  使用的是《memcached演练(2) 访问memcached服务 》提到的spymemcached
public void test111() throws ExecutionException, InterruptedException {
    final MemcachedClient mcc = MemcachedUtil.getSpyMemcachedClient();
   final Lock lock = new ReentrantLock();
    final String value="abcdef.....";
    //不停的set值
Thread t1=new Thread(new Runnable() {
      @Override
      public void run() {
            for(int i=0;i
页: [1]
查看完整版本: memcached演练(5) 内存管理