Memcached学习笔记(2)一Memcached分布式

szs

memcached虽然称为“分布式”缓存服务器，但服务器端并没有“分布式”功能。服务器只是实现了内存存储的功能，至于memcached的分布式，则是完全由客户端程序库实现的。通过memcached的客户端路由实现memcached集群环境，这种分布式是memcached的最大特点。
客户端做路由
客户端做路由的原理非常简单，应用服务器在每次存取某key的value时，通过某种算法把key映射到某台memcached服务器nodeA上，因此这个key所有操作都在nodeA上，结构图如下所示：
存储某个key-value,客户端程序根据某种算法获得存取此value的服务器，存入该服务器中，如下图:

取某个key-value,根据key，同样的算法获取存取该key对应value的服务器。

因此关键在于算法的选择，最基本的要求就是能让数据平均到所有服务器上。spymemcached是一个用得比较广的java客户端，它就提供了一种简单的hash算法，实现类为ArrayModNodeLocator，从key映射到node的源码如下：



    public MemcachedNode getPrimary(String k) {
return nodes[getServerForKey(k)];
}
private int getServerForKey(String key) {
int rv = (int) (hashAlg.hash(key) % nodes.length);
assert rv >= 0 : "Returned negative key for key " + key;
assert rv < nodes.length : "Invalid server number " + rv + " for key "
+ key;
return rv;
}

由上可知所有的note都被放到数组中，通过hash取模的算法获得note数组中的某一个服务器。当添加一个note或删除一个note的时候，找不到对应的note该怎么办，上面的策略是在数据组里顺序向下轮询node，找第一个工作正常的node。很显然这种方式是有问题的，note发生变化了，将导致大量的key找不到其原来所对应的note，从而会重新将值放置到新的note服务器中。如何解决这个问题呢？分布式这块有一个算法“hash一致性算法”可以很好的解决这个问题，关于hash一致性算法，博文分布式设计与开发（二）------几种必须了解的分布式算法 讲的比较细致。spymemcache 的KetamaNodeLocator类就实现了这种算法，源码如下：



  public MemcachedNode getPrimary(final String k) {
MemcachedNode rv = getNodeForKey(hashAlg.hash(k));
assert rv != null : "Found no node for key " + k;
return rv;
}
MemcachedNode getNodeForKey(long hash) {
final MemcachedNode rv;
if (!ketamaNodes.containsKey(hash)) {
//tailMap(key):返回treemap中大于或等于key的对象构建的map
SortedMap<Long, MemcachedNode> tailMap = getKetamaNodes().tailMap(hash);
if (tailMap.isEmpty()) {
hash = getKetamaNodes().firstKey();
} else {
hash = tailMap.firstKey();
}
}
rv = getKetamaNodes().get(hash);
return rv;
}

memcached服务端集群
由上面可知一般的应用中memcached服务端集群不用做太多工作，部署一堆memcached服务器就可以了。