Zookeeper部署

324232

网络参考资料

https://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/

http://agapple.iteye.com/blog/1111377

http://zookeeper.apache.org/doc/r3.3.2/zookeeperOver.html

Zookeeper

Google Chubby的开源实现

用于协调分布式系统上的各种服务, 例如确认消息是否准确到达, 防止单点失效, 处理负载均衡等

应用场景: Hbase, 实现Namenode自动切换

工作原理: 领导者, 跟随者以及选举过程

下载:

1 2	http://www.apache.org/dyn/closer.cgi/zookeeper/ wget http://mirrors.cnnic.cn/apache/z ... keeper-3.4.6.tar.gz

安装: 单机模式

单机安装非常简单, 只要获取到Zookeeper的压缩包并解压到某个目录如: /home/hadoop/zookeeper-3.2.2下, Zookeeper的启动脚本在bin目录下, Linux下的启动脚本是zkServer.sh

配置文件

1 2 3 4 5 6 7 8 9 10 11

cp conf/zoo_sample.cfg conf/zoo.cfg        #将默认的zoo_sample.cfg  复制一个为zoo.cfg tickTime = 2000 dataDir = /home/hadoop/zookeeper-3.4.6/build clientPort = 2181 dataLogDir=/home/hadoop/zookeeper-3.4.6/logs #tickTime: 这个时间是作为Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔, 也就是每个tickTime时间就会发送一个心跳 #dataDir: 顾名思义就是Zookeeper保存数据的目录, 默认情况下, Zookeeper将写数据的日志也保存在这个目录里 #clientPort: 这个端口就是客户端连接Zookeeper服务器的端口, Zookeeper会监听这个端口, 接受客户端的访问请求

启动zkServer.sh start

安装: 集群模式环境变量

1 2 3

JAVA_HOME=/usr/java/jdk1.7.0_67 ZOOKEEPER_INSTALL=/home/hadoop/zookeeper-3.4.6 PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$ZOOKEEPER_INSTALL/bin

配置文件

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

cp conf/zoo_sample.cfg conf/zoo.cfg        #将默认的zoo_sample.cfg  复制一个为zoo.cfg ----------------------------------------- tickTime = 2000 dataDir = /home/hadoop/zookeeper-3.4.6/build clientPort = 2181 dataLogDir=/home/hadoop/zookeeper-3.4.6/logs initLimit = 5 syncLimit = 2 server.1 = 192.168.188.22:2888:3888 server.2 = 192.168.188.23:2888:3888 ----------------------------------------- mkdir /home/hadoop/zookeeper-3.4.6/{build,logs}

initLimit : 这个配置项是用来配置Zookeeper接受客户端(这里所说的客户端不是用户连接 Zookeeper服务器的客户端, 而是Zookeeper服务器集群中连接到Leader的Follower服务器) 初始化连接时最长能忍受多少个心跳时间间隔数. 当已经超过10个心跳的时间 (也就是tickTime) 长度后Zookeeper服务器还没有收到客户端的返回信息, 那么表明这个客户端连接失败. 总的时间长度就是5*2000 = 10 秒

syncLimit : 这个配置项表示Leader与Follow之间发送信息, 请求和应答时间长度, 最长不能超过多少个tickTime的时间长度, 总的时间长度就是2*2000 = 4秒

server.A = B:C:D  :  其中A是一个数字, 表示这个是第几号服务器 ; B是这个服务器的IP地址 ; C表示的是这个服务器与集群中的Leader服务器交换信息的端口 ; D表示的是万一集群中的Leader服务器挂了, 需要一个端口来重新进行选举, 选出一个新的Leader, 而这个端口就是用来执行选举时服务器相互通信的端口. 如果是伪集群的配置方式, 由于B都是一样, 所以不同的Zookeeper实例通信端口号不能一样, 所以要给它们分配不同的端口号.

除了需改zoo.cfg配置文件, 集群模式下还要配置一个文件myid , 这个文件在dataDir目录下 , 这个文件里面就有一个数据就是A的值 , Zookeeper启动时会读取这个文件 , 拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底那个是server

分发配置

1 2	[hadoop@hadoop1 ~]$ scp -r zookeeper-3.4.6 hadoop2:~ [hadoop@hadoop1 ~]$ scp -r zookeeper-3.4.6 hadoop3:~

配置myid

1 2 3

[hadoop@hadoop1 ~]$ echo 1 > /home/hadoop/zookeeper-3.4.6/build/myid [hadoop@hadoop2 ~]$ echo 2 > /home/hadoop/zookeeper-3.4.6/build/myid [hadoop@hadoop3 ~]$ echo 3 > /home/hadoop/zookeeper-3.4.6/build/myid

启动Zookeeper并查看

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

各节点启动:  zkServer.sh start [hadoop@hadoop1 ~]$ zkServer.sh status JMX enabled by default Using config: /home/hadoop/zookeeper-3.4.6/bin/../conf/zoo.cfg Mode: follower [hadoop@hadoop2 ~]$ zkServer.sh status JMX enabled by default Using config: /home/hadoop/zookeeper-3.4.6/bin/../conf/zoo.cfg Mode: leader [hadoop@hadoop3 zookeeper-3.4.6]$ zkServer.sh status JMX enabled by default Using config: /home/hadoop/zookeeper-3.4.6/bin/../conf/zoo.cfg Mode: follower