Zookeeper，也要接触起来啦

scuess

　　分布式的东东，就是部署也方便，但管理，想法，大集群应用是要点。。。！
　　参考如下URL简单实现 ，以后应用时多留意。
　　http://blog.iyunv.com/shirdrn/article/details/7183503
　　http://www.dataguru.cn/article-3292-1.html

　　前言
　　ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品。在单机中，系统协作大都是进程级的操作。分布式系统中，服务协作都是跨服务 器才能完成的。在ZooKeeper之前，我们对于协作服务大都使用消息中间件，随着分布式系统的普及，用消息中间件完成协作，会有大量的程序开发。 ZooKeeper直接面向于分布式系统，可以减少我们自己的开发，帮助我们更好完成分布式系统的数据管理问题。
　　目录

• zookeeper介绍
  
• zookeeper单节点安装
  
• zookeeper伪分布式集群安装
  
• zookeeper命令行操作
  
• Java编程现实命令行操作
  

1. zookeeper介绍
　　ZooKeeper是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用 协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行，不过它的长处在于通过分布式 ZooKeeper集群（一个Leader，多个Follower），基于一定的策略来保证ZooKeeper集群的稳定性和可用性，从而实现分布式应用 的可靠性。
　　ZooKeeper是作为分布式协调服务，是不需要依赖于Hadoop的环境，也可以为其他的分布式环境提供服务。
ZooKeeper Distributed模式
　　
　　ZooKeeper分布式模式安装（ZooKeeper集群）也比较容易，这里说明一下基本要点。
　　首先要明确的是，ZooKeeper集群是一个独立的分布式协调服务集群，“独立”的含义就是说，如果想使用ZooKeeper实现分布式应用的协调与管理，简化协调与管理，任何分布式应用都可以使用，这就要归功于Zookeeper的数据模型（Data Model）和层次命名空间（Hierarchical Namespace）结构，详细可以参考http://zookeeper.apache.org/doc/trunk/zookeeperOver.html。在设计你的分布式应用协调服务时，首要的就是考虑如何组织层次命名空间。
　　下面说明分布式模式的安装配置，过程如下所示：
　　第一步：主机名称到IP地址映射配置
　　ZooKeeper集群中具有两个关键的角色：Leader和Follower。集群中所有的结点作为一个整体对分布式应用提供服务，集群中每个结点之间都互相连接，所以，在配置的ZooKeeper集群的时候，每一个结点的host到IP地址的映射都要配置上集群中其它结点的映射信息。
　　例如，我的ZooKeeper集群中每个结点的配置，以slave-01为例，/etc/hosts内容如下所示：
　　



[plain] view plaincopy

• 192.168.0.179   slave-01
  
• 192.168.0.178   slave-02
  
• 192.168.0.177   slave-03
  

　　
　　ZooKeeper采用一种称为Leader election的选举算法。在整个集群运行过程中，只有一个Leader，其他的都是Follower，如果ZooKeeper集群在运行过程中Leader出了问题，系统会采用该算法重新选出一个Leader。因此，各个结点之间要能够保证互相连接，必须配置上述映射。
　　ZooKeeper集群启动的时候，会首先选出一个Leader，在Leader election过程中，某一个满足选举算的结点就能成为Leader。整个集群的架构可以参考http://zookeeper.apache.org/doc/trunk/zookeeperOver.html#sc_designGoals。
　　第二步：修改ZooKeeper配置文件
　　在其中一台机器（slave-01）上，解压缩zookeeper-3.3.4.tar.gz，修改配置文件conf/zoo.cfg，内容如下所示：
　　



[plain] view plaincopy

• tickTime=2000
  
• dataDir=/home/hadoop/storage/zookeeper
  
• clientPort=2181
  
• initLimit=5
  
• syncLimit=2
  
• server.1=slave-01:2888:3888
  
• server.2=slave-02:2888:3888
  
• server.3=slave-03:2888:3888
  

　　上述配置内容说明，可以参考http://zookeeper.apache.org/doc/trunk/zookeeperStarted.html#sc_RunningReplicatedZooKeeper。
　　
　　第三步：远程复制分发安装文件
　　上面已经在一台机器slave-01上配置完成ZooKeeper，现在可以将该配置好的安装文件远程拷贝到集群中的各个结点对应的目录下：
　　



[plain] view plaincopy

• cd /home/hadoop/installation/
  
• scp -r zookeeper-3.3.4/ hadoop@slave-02:/home/hadoop/installation/
  
• scp -r zookeeper-3.3.4/ hadoop@slave-03:/home/hadoop/installation/
  

　　第四步：设置myid
　　
　　在我们配置的dataDir指定的目录下面，创建一个myid文件，里面内容为一个数字，用来标识当前主机，conf/zoo.cfg文件中配置的server.X中X为什么数字，则myid文件中就输入这个数字，例如：



[plain] view plaincopy

• hadoop@slave-01:~/installation/zookeeper-3.3.4$ echo "1" > /home/hadoop/storage/zookeeper/myid
  
• hadoop@slave-02:~/installation/zookeeper-3.3.4$ echo "2" > /home/hadoop/storage/zookeeper/myid
  
• hadoop@slave-03:~/installation/zookeeper-3.3.4$ echo "3" > /home/hadoop/storage/zookeeper/myid
  

　　按照上述进行配置即可。
　　
　　第五步：启动ZooKeeper集群
　　在ZooKeeper集群的每个结点上，执行启动ZooKeeper服务的脚本，如下所示：



[plain] view plaincopy

• hadoop@slave-01:~/installation/zookeeper-3.3.4$ bin/zkServer.sh start
  
• hadoop@slave-02:~/installation/zookeeper-3.3.4$ bin/zkServer.sh start
  
• hadoop@slave-03:~/installation/zookeeper-3.3.4$ bin/zkServer.sh start
  
• 
  
•