zookeeper的数据存储和同步

上帝大脸

一，zookeeper中的文件存储及相关配置
zookeeper启动后，会将所有数据加载到内存中，但是也会在硬盘上留下数据文件和日志文件便于恢复。在配置文件中，有如下的一些参数与文件相关：

• dataDir：保存内存快照数据的目录；
  
• dataLogDir：保存 transaction log的目录；
  
• globalOutstandingLimit ：单台服务器上未完成的最大客户端请求数(当客户端发送请求太快而集群来不及处理时)，默认1000.
  
• preAllocSize：transaction log预设的文件大小，默认是64M，
  
• snapCount：进行快照的阀值，默认10000；当transaction log条数达到 snapCount/2 + rand.nextInt(snapCount/2)时就做一次快照，使用随机数的原因是避免所有服务器会同时做快照
  

zookeeper的快照数据保存在$dataDir中，文件的命名格式为：snapshot.{16进制串}，其中16进制串是lastZxid转换后的值。相关序列化和反序列化的类可以看{org.apache.zookeeper.server.persistence.FileSnap}，快照文件中的内容包括文件头信息，DataTree数据及一些session数据。
事物日志则保存在$dataLogDir中，日志文件的命名格式类似与snapshot：log.{16进制串}，相关读写的类可以见{org.apache.zookeeper.server.persistence.FileTxnLog}。日志文件中的数据格式稍微复杂一点，如代码注释中所述：

• * The format of a Transactional log is as follows:
  
• *
  
• <blockquote>
  
• <pre> * LogFile:
  
• *     FileHeader TxnList ZeroPad
  
• *
  
• * FileHeader: {
  
• *     magic 4bytes (ZKLG)
  
• *     version 4bytes
  
• *     dbid 8bytes
  
• *   }
  
• *
  
• * TxnList:
  
• *     Txn || Txn TxnList
  
• *
  
• * Txn:
  
• *     checksum Txnlen TxnHeader Record 0x42
  
• *
  
• * checksum: 8bytes Adler32 is currently used
  
• *   calculated across payload -- Txnlen, TxnHeader, Record and 0x42
  
• *
  
• * Txnlen:
  
• *     len 4bytes
  
• *
  
• * TxnHeader: {
  
• *     sessionid 8bytes
  
• *     cxid 4bytes
  
• *     zxid 8bytes
  
• *     time 8bytes
  
• *     type 4bytes
  
• *   }
  
• *
  
• * Record:
  
• *     See Jute definition file for details on the various record types
  
• *
  
• * ZeroPad:
  
• *     0 padded to EOF (filled during preallocation stage)
  

如果需要分析日志文件的话，可以考虑对FileTxnLog和FileTxnIterator做简单修改来暴露数据读取接口。
二，zookeeper的数据恢复过程
当进行一次快照时，就会重新生成一个新的日志文件，二者结合可以把数据恢复(断点+动作重放)，启动时数据恢复的具体的逻辑在{org.apache.zookeeper.server.persistence.FileTxnSnapLog}中：

• snapLog.deserialize(dt, sessions);
  
• FileTxnLog txnLog = new FileTxnLog(dataDir);
  
• TxnIterator itr = txnLog.read(dt.lastProcessedZxid+1);
  
• long highestZxid = dt.lastProcessedZxid;
  

代码中先读取快照数据生成断点映像，然后根据断点映像中最大zxid开始进行事务重放
三，zookeeper节点间的数据同步
当各个节点已经自我恢复并选举出leader后，leader就开始和follows进行数据同步了，具体的逻辑可以见{org.apache.zookeeper.server.quorum.LearnerHandler}中：
leader构建NEWLEADER包，内含leader最大数据的zxid, 广播给follows，然后leader根据follower数量为每个follower创建一个LearnerHandler线程来处理同步请求：leader主线程阻塞，等待超过半数follower同步完数据之后成为正式leader。
follower接收到NEWLEADER包后响应FOLLOWERINFO给leader，告知本方数据最大的zxid值； leader接收到回馈后开始判断：

• 如果follower和leader数据一致，则直接发送DIFF告知已经同步；
  
• 判断这一阶段内有无已经北提交的决议值，如果有，那么
  a) 如果有部分数据没有同步，leader发送DIFF包将有差异的数据同步过去，同时将follower没有的数据逐个发送commit包给follower要求记录下来；
  b) 如果follower数据zxid更大，发送TRUNC包给follower要求删除多余数据
  
• 如果这一阶段没有提交的决议，直接发送SNAP包将快照同步给follower
  

以上消息完毕后，LEADER发送UPTODATE包告知follower当前数据已同步，等待follower的ACK完成同步过程。

本文出自 溪木镇的铁匠铺，转载时请注明出处及相应链接。
本文永久链接: http://www.zhouyoudao.com/zookeeper-data