分布式服务框架：Zookeeper简介

yanqiufang

分布式服务框架：Zookeeper(分布式系统的可靠协调系统)



本文导读：
1 Zookeeper概述
2 Zookeeper总体结构
　　——逻辑图、运转流程、特点、优点、数据结构
3 Zookeeper应用场景



Zookeeper概述：
　　　　Zookeeper是一个高性能，分布式的，开源分布式应用协调服务。
　　　　它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。
　　　　ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。
　　　　它被设计为易于编程，使用文件系统目录树作为数据模型。服务端跑在java上，提供java和C的客户端API。ZooKeeper代码版本中，提供了分布式独享锁、选举、队列的接口，代码在zookeeper-3.4.3\src\recipes。其中分布锁和队列有Java和C两个版本，选举只有Java版本。
　　　　Zookeeper是Google的Chubby一个开源的实现，是高有效和可靠的协同工作系统，Zookeeper能够用来leader选举，配置信息维护等，在一个分布式的环境中，需要一个Master实例或存储一些配置信息，确保文件写入的一致性等。




Zookeeper总体结构
　　　　Zookeeper服务自身组成一个集群(2n+1个服务允许n个失效)。Zookeeper服务有两个角色，一个是leader，负责写服务和数据同步，剩下的是follower，提供读服务，leader失效后会在follower中重新选举新的leader。
　　Zookeeper逻辑图如下：
　　

• 客户端可以连接到每个server，每个server的数据完全相同。
  
• 每个follower都和leader有连接，接受leader的数据更新操作(数据同步)。
  
• Server记录事务日志和快照到持久存储。
  
• 大多数(大于一半)server可用，整体服务就可用。
  

　　附注原理：ZooKeeper是以Fast Paxos算法为基础的，paxos算法存在活锁的问题，即当有多个proposer交错提交时，有可能互相排斥导致没有一个proposer能提交成功，而Fast Paxos作了一些优化，通过选举产生一个leader，只有leader才能提交propose，具体算法可见Fast Paxos。
　　ZooKeeper的基本运转流程：

• 选举Leader。
  
• 同步数据。
  
• 选举Leader过程中算法有很多，但要达到的选举标准是一致的。
  
• Leader要具有最高的zxid。
  
• 集群中大多数的机器得到响应并follow选出的Leader。
  

　　Zookeeper表现为一个分层的文件系统目录树结构（不同于文件系统的是，节点可以有自己的数据，而文件系统中的目录节点只有子节点）。数据模型结构图如下：
　　
　　圆形节点可以含有子节点，多边形节点不能含有子节点。一个节点对应一个应用，节点存储的数据就是应用需要的配置信息。
　　Zookeeper 特点

• 顺序一致性：按照客户端发送请求的顺序更新数据。
  
• 原子性：更新要么成功，要么失败，不会出现部分更新。
  
• 单一性 ：无论客户端连接哪个server，都会看到同一个视图。
  
• 可靠性：一旦数据更新成功，将一直保持，直到新的更新。
  
• 及时性：客户端会在一个确定的时间内得到最新的数据。
  

　　Zookeeper利于分布式系统开发，它能让分布式系统更加健壮和高效。它的主要优点有：

• zookeeper是一个精简的文件系统。这点它和hadoop有点像，但是zookeeper这个文件系统是管理小文件的，而hadoop是管理超大文件的。
  
• zookeeper提供了丰富的“构件”，这些构件可以实现很多协调数据结构和协议的操作。例如：分布式队列、分布式锁以及一组同级节点的“领导者选举”算法。
  
• zookeeper是高可用的，它本身的稳定性是相当之好，分布式集群完全可以依赖zookeeper集群的管理，利用zookeeper避免分布式系统的单点故障的问题。
  
• zookeeper采用了松耦合的交互模式。这点在zookeeper提供分布式锁上表现最为明显，zookeeper可以被用作一个约会机制，让参入的进程不在了解其他进程的（或网络）的情况下能够彼此发现并进行交互，参入的各方甚至不必同时存在，只要在zookeeper留下一条消息，在该进程结束后，另外一个进程还可以读取这条信息，从而解耦了各个节点之间的关系。
  
• zookeeper为集群提供了一个共享存储库，集群可以从这里集中读写共享的信息，避免了每个节点的共享操作编程，减轻了分布式系统的开发难度。
  
• zookeeper的设计采用的是观察者的设计模式，zookeeper主要是负责存储和管理大家关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper 就将负责通知已经在 Zookeeper 上注册的那些观察者做出相应的反应，从而实现集群中类似 Master/Slave 管理模式。
  

　　Zookeeper 会维护一个具有层次关系的数据结构，它非常类似于一个标准的文件系统，如图所示：
　　
　　Zookeeper 这种数据结构有如下这些特点：

• 每个子目录项如 NameService 都被称作为 znode，这个 znode 是被它所在的路径唯一标识，如 Server1 这个 znode 的标识为 /NameService/Server1
  
• znode 可以有子节点目录，并且每个 znode 可以存储数据，注意 EPHEMERAL 类型的目录节点不能有子节点目录
  
• znode 是有版本的，每个 znode 中存储的数据可以有多个版本，也就是一个访问路径中可以存储多份数据
  
• znode 可以是临时节点，一旦创建这个 znode 的客户端与服务器失去联系，这个 znode 也将自动删除，Zookeeper 的客户端和服务器通信采用长连接方式，每个客户端和服务器通过心跳来保持连接，这个连接状态称为 session，如果 znode 是临时节点，这个 session 失效，znode 也就删除了
  
• znode 的目录名可以自动编号，如 App1 已经存在，再创建的话，将会自动命名为 App2
  
• znode 可以被监控，包括这个目录节点中存储的数据的修改，子节点目录的变化等，一旦变化可以通知设置监控的客户端，这个是 Zookeeper 的核心特性，Zookeeper 的很多功能都是基于这个特性实现的，后面在典型的应用场景中会有实例介绍
  

　　四种类型的znode：

• PERSISTENT-持久化目录节点。客户端与zookeeper断开连接后，该节点依旧存在
  
• PERSISTENT_SEQUENTIAL-持久化顺序编号目录节点。客户端与zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号
  
• EPHEMERAL-临时目录节点。客户端与zookeeper断开连接后，该节点被删除
  
• EPHEMERAL_SEQUENTIAL-临时顺序编号目录节点。客户端与zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号
  

　　ZooKeeper Client Library提供了丰富直观的API供用户程序使用，下面是一些常用的API：

• create(path, data, flags): 创建一个ZNode, path是其路径，data是要存储在该ZNode上的数据，flags常用的有: PERSISTEN, PERSISTENT_SEQUENTAIL, EPHEMERAL, EPHEMERAL_SEQUENTAIL
  
• delete(path, version): 删除一个ZNode，可以通过version删除指定的版本, 如果version是-1的话，表示删除所有的版本
  
• exists(path, watch): 判断指定ZNode是否存在，并设置是否Watch这个ZNode。这里如果要设置Watcher的话，Watcher是在创建ZooKeeper实例时指定的，如果要设置特定的Watcher的话，可以调用另一个重载版本的exists(path, watcher)。以下几个带watch参数的API也都类似
  
• getData(path, watch): 读取指定ZNode上的数据，并设置是否watch这个ZNode
  
• setData(path, watch): 更新指定ZNode的数据，并设置是否Watch这个ZNode
  
• getChildren(path, watch): 获取指定ZNode的所有子ZNode的名字，并设置是否Watch这个ZNode
  
• sync(path): 把所有在sync之前的更新操作都进行同步，达到每个请求都在半数以上的ZooKeeper Server上生效。path参数目前没有用
  
• setAcl(path, acl): 设置指定ZNode的Acl信息
  
• getAcl(path): 获取指定ZNode的Acl信息
  

Zookeeper的应用场景：
　　1、命名服务
　　　　命名服务也是分布式系统中比较常见的一类场景。在分布式系统中，通过使用命名服务，客户端应用能够根据指定名字来获取资源或服务的地址，提供者等信息。被命名的实体通常可以是集群中的机器，提供的服务地址，远程对象等等——这些我们都可以统称他们为名字（Name）。其中较为常见的就是一些分布式服务框架中的服务地址列表。通过调用ZK提供的创建节点的API，能够很容易创建一个全局唯一的path，这个path就可以作为一个名称。
　　2、配置管理
　　　　程序总是需要配置的，如果程序分散部署在多台机器上，要逐个改变配置就变得困难。现在把这些配置全部放到zookeeper上去，保存在 Zookeeper 的某个目录节点中，然后所有相关应用程序对这个目录节点进行监听，一旦配置信息发生变化，每个应用程序就会收到 Zookeeper 的通知，然后从 Zookeeper 获取新的配置信息应用到系统中就好。
　　
　　3、集群管理
　　　　所谓集群管理无在乎两点：是否有机器退出和加入、选举master。
　　　　对于第一点，所有机器约定在父目录GroupMembers下创建临时目录节点，然后监听父目录节点的子节点变化消息。一旦有机器挂掉，该机器与zookeeper的连接断开，其所创建的临时目录节点被删除，所有其他机器都收到通知：某个兄弟目录被删除，于是，所有人都知道：它上船了。新机器加入也是类似，所有机器收到通知：新兄弟目录加入，highcount又有了。
　　　　对于第二点，我们稍微改变一下，所有机器创建临时顺序编号目录节点，每次选取编号最小的机器作为master就好。
　　
　　4、分布式锁
　　　　有了zookeeper的一致性文件系统，锁的问题变得容易。锁服务可以分为两类，一个是保持独占，另一个是控制时序。
　　　　对于第一类，我们将zookeeper上的一个znode看作是一把锁，通过createznode的方式来实现。所有客户端都去创建 /distribute_lock 节点，最终成功创建的那个客户端也即拥有了这把锁。厕所有言：来也冲冲，去也冲冲，用完删除掉自己创建的distribute_lock 节点就释放出锁。
　　　　对于第二类， /distribute_lock 已经预先存在，所有客户端在它下面创建临时顺序编号目录节点，和选master一样，编号最小的获得锁，用完删除，依次方便。
　　5、队列管理
　　　　两种类型的队列：
　　1、同步队列，当一个队列的成员都聚齐时，这个队列才可用，否则一直等待所有成员到达。
　　2、队列按照 FIFO 方式进行入队和出队操作。
　　　　第一类，在约定目录下创建临时目录节点，监听节点数目是否是我们要求的数目。
　　　　第二类，和分布式锁服务中的控制时序场景基本原理一致，入列有编号，出列按编号。
　　6、负载均衡
　　　　这里说的负载均衡是指软负载均衡。在分布式环境中，为了保证高可用性，通常同一个应用或同一个服务的提供方都会部署多份，达到对等服务。而消费者就须要在这些对等的服务器中选择一个来执行相关的业务逻辑，其中比较典型的是消息中间件中的生产者，消费者负载均衡。
　　7、分布式通知/协调
　　　　ZooKeeper中特有watcher注册与异步通知机制，能够很好的实现分布式环境下不同系统之间的通知与协调，实现对数据变更的实时处理。使用方法通常是不同系统都对ZK上同一个znode进行注册，监听znode的变化（包括znode本身内容及子节点的），其中一个系统update了znode，那么另一个系统能够收到通知，并作出相应处理。
　　

　　参考链接：

• ZooKeeper主页
  
• highscalability.com的文章
  
• 《软件开发时代》关于ZooKeeper迁至Apache的文章
  
• 基于ZooKeeper的Eclipse ECF发现
  
• Zookeeper典型使用场景一览－淘宝综合业务平台团队博客
  
• 分布式服务框架 Zookeeper -- 管理分布式环境中的数据