[RM HA3] Zookeeper在RM HA的应用

chenjiali

[RM HA3] Zookeeper在RM HA的应用
　　RM HA（ResourceManager  HighAvailability）中使用Zookeeper的地方在ZKRMStateStore和ZKFailoverController，ZKRMStateStore继承于抽象类RMStateStore，从名字上可以看出RMStateStore是存储RM状态的存储器，ZKRMStateStore是其中的一种实现——使用Zookeeper存储RM状态。抽象类ZKFailoverController通过Zookeeper实现Master的Auto Failover，社区最新版本2.3只用在HDFS上控制Namanode的Auto Failover，RM还没有Auto Failover功能， CLoudera5已经实现了Namanode，Jobtracker和RM的Auto Failover。
　　本文简要介绍了Zookeeper在RM HA的应用。
　　
问题1，Zookeeper存储哪些RM状态信息，如何存储？
　　RM HA第一个需要解决的问题是存储RM的状态信息，需要存储的信息包括app的状态，作业的TOKEN等。Zookeeper存储RM状态的目录格式如下所示：
　　   * ROOT_DIR_PATH
　　   * |--- VERSION_INFO
　　   * |--- RM_ZK_FENCING_LOCK
　　   * |--- RM_APP_ROOT
　　   * |     |----- (#ApplicationId1)
　　   * |     |        |----- (#ApplicationAttemptIds)
　　   * |     |
　　   * |     |----- (#ApplicationId2)
　　   * |     |       |----- (#ApplicationAttemptIds)
　　   * |     ....
　　   * |
　　   * |--- RM_DT_SECRET_MANAGER_ROOT
　　   *        |----- RM_DT_SEQUENTIAL_NUMBER_ZNODE_NAME
　　   *        |----- RM_DELEGATION_TOKENS_ROOT_ZNODE_NAME
　　   *        |       |----- Token_1
　　   *        |       |----- Token_2
　　   *        |       ....
　　   *        |
　　   *        |----- RM_DT_MASTER_KEYS_ROOT_ZNODE_NAME
　　   *        |      |----- Key_1
　　   *        |      |----- Key_2
　　   *                ....
　　可以看到，存储的信息主要包Application和SECRET_MANAGER（安全与权限相关）的信息。
　　
问题2，如何实现Fencing（隔离）？
　　RM HA另一个需要解决的问题是如何防止两个RM（或一个RM的多个线程）同时对一个Zookeeper上的文件操作（包括读写，创建，删除等），这时就需要增加Fencing机制来保证。
　　由于RM HA使用的Zookeeper的权限控制实现Fencing，所以首先需要了解Zookeeper的权限控制方法。简单的说，在Zookeeper上创建目录的时候，需要指定用户和相应的权限，例如创建一个目录时可以指定只有自己能对这个目录读写，其他用户只有读的权限。
　　首先，ZKRMStateStore初始化的时候会创建ROOT_DIR_PATH，并指定该目录只有自己有读写权限，其他用户只有读权限。其次，在每一个ApplicationID目录进行操作的时，都需要现创建一个LOCK文件，创建成功后才开始实际的操作，操作结束后删除LOCK文件。如果创建LOCK文件抛出权限异常，说明这个目录是其他RM（RM HA环境下至少存在两个RM）创建的，这时候RM会强制让自己转换为standby；如果抛出其他的异常，则说明RM的多个线程可能同时对一个目录操作，这是不允许的，这时候RM会强制自己停止工作并退出进程。
　　
问题3，ZKFailoverController如何实现RM的Auto Failover
　　ZKFailoverController中维护着 ActiveStandbyElector 和HealthMonitor ， ActiveStandbyElector主要工作是。
　　1. 初始化时在 ZK 上创建一个Lock 文件，
　　2. Standby RM运行过程中监控 ZM 上的Lock 文件是否存在。
　　HealthMonitor的主要工作是检查自己（RM）的健康状态，通过 HAServiceStatus提供的 getServiceStatus() 和monitorHealth() 方法，如果自己健康的，则会试图创建 Lock 文件，按照结果成为 active或 standby 。