fjqzyc 发表于 2018-10-31 07:14:02

Hadoop初学指南(10)--ZooKeeper的集群安装和操作

  本文简单介绍了ZooKeeper的基本知识。
  (1)概述
  ①什么是ZooKeeper?
  Zookeeper 是 Google 的 Chubby一个开源的实现,是 Hadoop 的分布式协调服务
  它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等
  ②Zookeeper的角色

  ③为什么使用Zookeeper?
  大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程(如资源、任务分配等)
  目前,大部分应用需要开发私有的协调程序,缺乏一个通用的机制
  协调程序的反复编写浪费,且难以形成通用、伸缩性好的协调器
  ZooKeeper:提供通用的分布式锁服务,用以协调分布式应用
  ④Zookeeper的特性
  Zookeeper是简单的
  Zookeeper是富有表现力的
  Zookeeper具有高可用性
  Zookeeper采用松耦合交互方式
  Zookeeper是一个资源库
  (2)安装
  ①解压
  命令:tar -zvxf zookeeper-3.4.5.tar.gz
  ②为了以后操作方便重命名解压后文件夹
  命令:mv zookeeper-3.4.5 zk
  ③设置环境变量
  命令:vim /etc/profile
  增加ZOOKEEPER_HOME并修改PATH

  修改完成之后重新加载配置:
  source /etc/profile
  ④修改zookeeper配置文件
  修改在zk/conf下zoo_sample.cfg为zoo.cfg,并编辑该文件

  其中dataDir表示集群的数据,server.后面的编号表示zookeeper集群主机的编号,hadoop0是我的主机名,2888与3888是端口,2888是zookeeper角色的端口,3888是zookeeper传输数据的端口。
  ⑤创建文件夹/usr/local/zk/data,并在文件夹中创建myid文件,内容为当前主机对应的zookeeper集群编号,例如当前主机是hadoop0,myid文件内容如下:

  ⑥同理修改其他主机上的文件,也可以用scp进行复制。
  ⑦启动zookeeper
  进入bin目录下执行启动命令,命令如下:
  zkServer.sh start

  此时,hadoop0节点的zookeeper集群启动,而后可以看一下zookeeper.out文件,内容如下:

  可以看到集群已经识别myid文件,而由于其他节点的集群没有启动所以会报错,此时只需要把其他节点中的集群启动即可。
  (3)Zookeeper的角色
  领导者(leader),负责进行投票的发起和决议,更新系统状态
  学习者(learner),包括跟随者(follower)和观察者(observer),follower用于接受客户端请求并想客户端返回结果,在选主过程中参与投票
  Observer可以接受客户端连接,将写请求转发给leader,但observer不参加投票过程,只同步leader的状态,observer的目的是为了扩展系统,提高读取速度
  客户端(client),请求发起方
  启动集群后,可以使用zkServer.sh status来查看角色



  (3)zookeeper的shell基本操作
  使用zkCli.sh可以进入zookeeper的shell操作端

  键入help(任意不支持的命令即可)可以查看支持的命令:

  使用ls /查看目录,同时也可以看到zookeeper会自动累加操作命令数:

  创建节点并查看:

  此时,如果用其他节点登录,可以看到数据已经同步到集群中了。

页: [1]
查看完整版本: Hadoop初学指南(10)--ZooKeeper的集群安装和操作