memcached源代码阅读笔记（一）

soyizi

　　缓存在系统设计中占有非常重要的地位。对于构建大型系统，缓存的使用非常重要。一般，缓存的目的都是为了将那些耗时又耗资源的东西，临时的保存在一个能够快速获取的地方，以此来减少资源的消耗，让我们可以更快的得到那些东西。简单的情况，比如我们可以把从数据库里取到的数据放到一个hashtable中，比如以sql为条件。在一定时间内，只要去数据库里取一次，然后就可以重复利用多次。这是个非常简单的缓存利用场景。
　　但是随着系统规模的增长，这种缓存机制就慢慢的不足以应付我们的需求。因为hashtable的这种方式，决定着这个hashtable肯定是与我们的应用放到同一个进程的。如果系统规模大了，我们可能要部署多个应用，进程内的hashtable不能为多个不同进程的应用提供支持了，我们就必须将这个hashtable独立出来，独立到应用外，让几个应用共享这个hashtable。这样，专门的缓存服务器就出现了。而memcache就是这其中极为优秀的一款。
　　那么从表面来看，类似memcache这种缓存服务器的结构应该是这个样子：
　　user <--------command and data---------> Network layer <----------------->parse user command <------------hashtable
　　更通俗点讲就是讲一个hashtable放到了网上提供服务。
　　但是，因为这样我们访问缓存需要访问网络，所以就比访问本地的hashtable性能要差。而且一般来讲，在一个繁忙的系统种，缓存的访问是非常频繁的，如果缓存访问不频繁，那么大部分请求就会落到最终的资源上：比如数据库。这样就会给这些慢速的资源带来更大的压力。
　　所以这种缓存服务器的网络层一定要优秀，除了能提供很大的并发量外，还要能提供很好的响应能力。而作为后端的hashtable也要提供很好的访问速度。在内存分配上也要更有效率。
　　memcache
　　memcache是一个用C写的缓存服务器。它的网络层使用的是大名鼎鼎的libevent（一个基于事件驱动的网络库）。libevent在linux上可以利用epoll这柄利器，而在windows上能利用IOCP这把尖刀。除此之外，还能将网络的传输与业务逻辑处理分离开来。
　　

　　好了，上面对缓存的基本知识做了点介绍，也简单的介绍了下memcache的结构，下面我们将先从一个用户的角度来简单看看如何使用memcache，会使用后再深入代码，也能相互做个对应。
　　跟所有的开源代码一样，checkout出来，三步就可以使用了：
　　./configure
　　make
　　make install
　　然后进入memcache的目录，启动memcached：
　　./memcached -p 9000
　　memcached提供了tcp和udp两种方式，不过大部分时候我们都是采用tcp的方式。memcache的协议也有两种方式：文本和二进制。
　　注：现在memcache的协议基本上成了很多网络服务的标准协议了。即使一些跟memcache半点关系都没有的服务也提供memcache协议访问的方式，这样可以让memcache客户端来连接。
　　下面我们就用telnet连上memcache服务器，简单的操作几个命令：
　　>telnet 127.0.0.1 9000
　　stats


STAT pid 3694
STAT uptime 119
STAT time 1323700770
STAT version 1.4.10
STAT libevent 2.0.16-stable
STAT pointer_size 64
STAT rusage_user 0.003002
STAT rusage_system 0.005005
STAT curr_connections 10
STAT total_connections 11
STAT connection_structures 11
STAT reserved_fds 20
STAT cmd_get 0
STAT cmd_set 0
STAT cmd_flush 0
STAT cmd_touch 0
STAT get_hits 0
STAT get_misses 0
STAT delete_misses 0
STAT delete_hits 0
STAT incr_misses 0
STAT incr_hits 0
STAT decr_misses 0
STAT decr_hits 0
STAT cas_misses 0
STAT cas_hits 0
STAT cas_badval 0
STAT touch_hits 0
STAT touch_misses 0
STAT auth_cmds 0
STAT auth_errors 0
STAT bytes_read 7
STAT bytes_written 0
STAT limit_maxbytes 67108864
STAT accepting_conns 1
STAT listen_disabled_num 0
STAT threads 4
STAT conn_yields 0
STAT hash_power_level 16
STAT hash_bytes 524288
STAT hash_is_expanding 0
STAT expired_unfetched 0
STAT evicted_unfetched 0
STAT bytes 0
STAT curr_items 0
STAT total_items 0
STAT evictions 0
STAT reclaimed 0
END
打印出memcache的一些监控数据　　
　　stats settings


STAT maxbytes 67108864
STAT maxconns 1024
STAT tcpport 9000
STAT udpport 9000
STAT inter NULL
STAT verbosity 0
STAT oldest 0
STAT evictions on
STAT domain_socket NULL
STAT umask 700
STAT growth_factor 1.25
STAT chunk_size 48
STAT num_threads 4
STAT num_threads_per_udp 4
STAT stat_key_prefix :
STAT detail_enabled no
STAT reqs_per_event 20
STAT cas_enabled yes
STAT tcp_backlog 1024
STAT binding_protocol auto-negotiate
STAT auth_enabled_sasl no
STAT item_size_max 1048576
STAT maxconns_fast no
STAT hashpower_init 0
END
打印出memcache的设置信息　　set user1 32 0 10
　　{'uname':'yuyijq','pwd':'12345'}
　　STORED
　　上面的命令将一个User对象的JSON放到memcache中。
　　get user1
　　{'uname':'yuyijq','pwd':'12345'}
　　END
　　根据刚才存储的key，取回那个用户对象的json串。
　　因为这个协议非常简单命令，所以也很容易开发一个client，在程序里我们就可以利用上memcache这个利器了。
　　

　　好了，下一篇我们将根据这一篇输入的几个命令，来对应的追随代码的脚印。