Zookeeper 3.3.3 启动过程

111

　　不管是leader，还是Follower 还是Observer，QuorumPeerMain启动时，会通过QuorumPeer.start()方法启动监听客户端请求的端口，一旦有客户端请求来到，会建立连接并等待客户端发送ConnectRequest请求，如果客户端此时发来ConnectRequest请求，但是服务端没有启动好(启动好的标记是：Leader.leader()中大多数follower同步毕，follower或Observer的syncWithLeader中同步完毕后),会抛出IOException，并关闭这个客户端连接，如果已经启动好，接收到数据会调用ZooKeeperServer.submitRequest(Requestsi)请求提交给处理器链的第一个处理器处理。
Leader工作流程
　　l Leader.lead()方法做了几件事情：
　　1.LastLoggedZxid 高32位+1，低32位清零
　　2.启动LearnerCnxAcceptor，等待Follower和OBSERVER 发送FOLLOWERINFO和OBSERVERINFO来连接Leader。Leader接收到消息后发回NEWLEADER消息作为回应。
　　3.leader等待大多数(这里将OBSERVER也算在内了???是否是bug?注 1)Follower和OBSERVER与leader同步完毕，并发送回ACK消息，等待时间是initLimit个tickTime,如果超过这个时间没有同步完毕，则服务器自动关闭。
　　4.创建并启动处理器链，详见后续处理器链的描述。
　　5.对应每个Follower和OBSERVER的LearnerHandler 此时进入循环，接收他们的ACK，PING, REVALIDATE, REQUEST(主要是写转发)消息。
　　6.Leader 主线程每tickTime/2时间会发送一个ping指令到follower，等待follower回应PING消息，更新sessiontime。
　　LeaderZookeeperServer处理器链: PrepRequestProcessor->ProposalRequestProcessor（SyncRequestProcessor->AckRequestProcessor）->CommitProcessor->toBeAppliedProcessor->FinalRequestProcessor
　　客户端请求，以及Follower转发写或者sync同步请求通过PrepRequestProcessor.processRequest(Request request) 提交到队列submittedRequests中，PrepRequestProcessor处理器是一个线程，专门处理submittedRequests的请求，根据Request的类型(create,delete或者其他什么请求)，检查ACL操作权限，进行一些预处理。然后转交给ProposalRequestProcessor.processRequest(),这个处理器只对请求做了简单的分流处理，如果是来自follower的sync请求，则将其转移给syncHandler处理，否则直接交给下一个处理器处理(CommitProcessor,该处理器有一个queuedRequests队列，专门接收要处理的请求)，如果是更改操作请求, ProposalRequestProcessor还同时向所有follower发出Proposal议案，并启动一个SyncRequestProcessor处理器和AckRequestProcessor处理器，SyncRequestProcessor用于将更改操作进行持久化，，AckRequestProcessor用于处理follower返回的ACK响应，一旦这个更新操作得到大多数follower的响应，leader会发送commit请求给所有的follower,同时leader会通知所有的Observer更新，并且leader通知CommitProcessor继续执行，此时CommitProcessor会把request交给下一个处理器(toBeAppliedProcessor), toBeAppliedProcessor也是直接转交给FinalRequestProcessor，这个地方是最后返回数据的地方。
Follower工作流程
　　followLeader：
　　1.首先通过findLeader()拿到leader的IP地址和端口
　　2.通过connectToLeader与leader建立连接，其实就是导致leader的LearnerCnxAcceptor.accept返回。如果连接失败，重试5次，连接超时时间为syncLimit个tickTime，setSoTimeout为initLimit个tickTime，意思就是说一旦重试5次都没有连接上，或者连接上之后initLimit个tickTime中没有数据read(例如leader的ping消息一直都没有到来),那么Follower自动退出并设置自身状态为looking，继续寻找leader.
　　3.向leader 注册，registerWithLeader(Leader.FOLLOWERINFO)，收到leader的NEWLEADER消息后继续下一步
　　4.向leader同步数据。
　　5.创建并启动处理器链，详见后续处理器链的描述
　　6.然后进入while 主循环，while (self.isRunning()) {
　　readPacket(qp);
　　processPacket(qp);
　　}
　　等待leader的消息到来并进行处理。
　　7.主要处理以下几类消息：ping,PROPOSAL,commit, REVALIDATE, SYNC.
　　SyncRequestProcessor->SendAckRequestProcessor:
　　1.当leader发送proposal过来到Follower时，Follower直接调用SyncRequestProcessor写入到log中。
　　2.SendAckRequestProcessor 写完之后，发送ACK消息给leader.
　　FollowerRequestProcessor->CommitProcessor-> FinalRequestProcessor
　　1.FollowerRequestProcessor sync或写请求转发给leader,同时将该请求转发给CommitProcessor，读请求直接转发给CommitProcessor。
　　2.CommitProcessor sync或写请求需要等到leader处理完毕后(leader 发送消息到follower，follower调用CommitProcessor.commit())，再继续处理请求，与Leader的处理相同。
　　3.FinalRequestProcessor 同leader操作
OBSERVER工作-流程
　　与Follower相同，只是忽略掉了proposal消息以及commit消息，而接收INFORM消息。

　　注：果然是个bug,这个bug已经在3.4版本中得以修复。
　　http://svn.apache.org/viewvc?view=revision&revision=1135382，其中在Diff of/zookeeper/trunk/src/java/main/org/apache/zookeeper/server/quorum/LearnerHandler.java已经加了判定，代码也进行了重写。

　　

　　这里有几篇写得比较好的外部文章可以参考：

• http://zoutm.iteye.com/blog/708462
  
• http://zoutm.iteye.com/blog/708447
  
• http://rdc.taobao.com/team/jm/archives/448