[原]memcached源码剖析系列之内存存储机制（二）

zhangxinba

　　在上一节中已经分析了memcached的内存分配管理初始化机制，在这节中我们将详细分析memcached中slab的管理与分配机制。
　　slabclass[MAX_NUMBER_OF_SLAB_CLASSES]数组是slab管理器（类型见上节），是memcached内存管理的核心数据结构，起着非常重要的作用。
　　slabclass的内存示意图如下图所示：

　　
　　（1）       size和perslab保存着每个slab分配的chunk的大小，及可分配的chunk数。
　　（2）       slablist是一个二维指针，指向一个指针列表，列表的长度为list_size * sizeof(void*)，列表中的一项指向一个slab。
　　（3）       end_page_ptr是一个指向最新分配的slab的指针。
　　源码：
　　（1）do_slabs_newslab（）函数实现

//为该id的slab链分配一个新的slab
static int do_slabs_newslab(const unsigned int id) {
slabclass_t *p = &slabclass[id];
int len = p->size * p->perslab;
char *ptr;
//grow_slab_list():如果slabs已经用完了，增长链表的长度
//memory_allocate():为新slab分配memory
if ((mem_limit && mem_malloced + len > mem_limit && p->slabs > 0) ||
(grow_slab_list(id) == 0) ||
((ptr = memory_allocate((size_t)len)) == 0)) {
MEMCACHED_SLABS_SLABCLASS_ALLOCATE_FAILED(id);
return 0;
}
memset(ptr, 0, (size_t)len);
//p->end_page_ptr:指向新分配的slab,p->end_page_free为新slab空余items数
p->end_page_ptr = ptr;
p->end_page_free = p->perslab;
p->slab_list[p->slabs++] = ptr;
mem_malloced += len;
MEMCACHED_SLABS_SLABCLASS_ALLOCATE(id);
return 1;
}
　　      这个函数的作用是当一个slab用光后，又有新的item要插入这个id，那么它就会重新申请新的slab，申请新的slab时，对应id的slab链表就要增长（由grow_slab_list（）函数来实现），这个链表是成倍增长的，初始化值为16。
　　（2）grow_slab_list（）函数实现

static int grow_slab_list (const unsigned int id) {
slabclass_t *p = &slabclass[id];
//p->slabs:已经分配的slab数，p->list_size:slab链表的长度
if (p->slabs == p->list_size) {//表示slabs已经用完
size_t new_size =  (p->list_size != 0) ? p->list_size * 2 : 16;
void *new_list = realloc(p->slab_list, new_size * sizeof(void *));
if (new_list == 0) return 0;
p->list_size = new_size;
p->slab_list = new_list;
}
return 1;
}
　　（3）memory_allocate（）函数实现

static void *memory_allocate(size_t size) {
void *ret;
if (mem_base == NULL) {
/* We are not using a preallocated large memory chunk */
ret = malloc(size);
} else {
ret = mem_current;
if (size > mem_avail) {
return NULL;
}
/* mem_current pointer _must_ be aligned!!! */
if (size % CHUNK_ALIGN_BYTES) {
size += CHUNK_ALIGN_BYTES - (size % CHUNK_ALIGN_BYTES);
}
mem_current = ((char*)mem_current) + size;
if (size < mem_avail) {
mem_avail -= size;
} else {
mem_avail = 0;
}
}
return ret;
}
　　    该函数为一个slab分配p->size * p->perslab大小的内存，并由slab_list中一个指针指向它。
　　    另外，memcached不会释放掉已用完的item指针的内存，其使用结构体slabclass_t中的slots二维指针来保存释放出来的item指针,sl_total表示总的数量,sl_curr表示的是目前可用的已经释放出来的item数量。
　　    每一次要分配内存的时候,首先根据需要分配的内存大小在slabclass数组中查找索引最小的一个大于所要求内存的slab,如果slots不为空,那么就从这里返回内存,否则去查找end_page_ptr,如果也没有,那么就只能返回NULL了.
　　    每一次释放内存的时候,同样的找到应该返回内存的slab元素,改写前面提到的slot指针和sl_curr数。这个过程由do_slabs_alloc（）和do_slabs_free（）完成。
　　memcached的内存分配机制的缺点
　　memcached的内存分配是有冗余的:
　　(1) 当一个slab不能被它所拥有的chunk大小整除时，slab尾部剩余的空间就被丢弃了。
　　(2) memcached的另外一个内存冗余发生在保存item的过程中，item总是小于或等于chunk大小的，当item小于chunk大小时，就又发生了空间浪费。
　　
　　
　　
　　
　　
　　


作者：lgp88 发表于2012-5-16 16:13:44 原文链接

阅读：71 评论：0 查看评论