hbase 和 zookeeper 的伪分布及集群安装

5290589

zookeeper集群在部署的时候，节点数量必须是比少于3个的奇数个。

1 zookeeper伪分布式(3个节点)

1.1 解压zookeeper安装包
    tar -zxvf zookeeper-3.4.5.tar.gz

1.2 cp   conf/zoo_sample.cfg    zoo1.cfg
    vi    zoo1.cfg
dataDir=/usr/local/zookeeper/zoo1/data
clientPort=2181
server.1=hadoop:2888:3888
server.2=hadoop:2889:3889
server.3=hadoop:2889:3889

1.3 cp    zoo1.cfg    zoo2.cfg
...zoo2/data
...2182

1.4 cp    zoo1.cfg    zoo3.cfg
...zoo3/data
...2183

1.5 产生存储数据的目录，并产生标记文件
mkdir  -p   zoo1/data   
echo '1' > zoo1/data/myid

mkdir  -p   zoo2/data   
echo '2' > zoo2/data/myid

mkdir  -p   zoo3/data   
echo '3' > zoo3/data/myid

1.6  bin/zkServer.sh    start   conf/zoo1.cfg
     bin/zkServer.sh    start   conf/zoo2.cfg
     bin/zkServer.sh    start   conf/zoo3.cfg

1.7 执行zk操作使用bin/zkCli.sh


---------------华丽的分割线-------------------


2 部署zookeeper集群(hadoop\hadoop1\hadoop2)

2.1 在hadoop上解压缩zookeeper-3.4.5.tar.gz

2.2 cp  zoo_sample.cfg zoo.cfg

2.3 vi  zoo.cfg
     dataDir=/usr/local/zookeeper/data
     clientPort=2181
     server.0=hadoop:2888:3888
     server.1=hadoop:2889:3889
     server.2=hadoop:2889:3889

2.4 产生存储数据的目录，并产生标记文件
     mkdir  -p   /usr/local/zookeeper/data
     echo  '0' > /usr/local/zookeeper/data/myid

2.5 scp   -rq   /usr/local/zookeeper   hadoop1:/usr/local
    scp   -rq   /usr/local/zookeeper   hadoop2:/usr/local

2.6 在hadoop1上分别修改标记文件
      echo     '1'  >  /usr/local/zookeeper/data/myid
    在hadoop2上分别修改标记文件
      echo     '2'  >  /usr/local/zookeeper/data/myid

2.7 在三台机器上启动 bin/zkServer.sh start

2.8 检查 jps ，产生QuorumPeerMain进程
     bin/zkServer.sh status    一个leader，二个follower
   


---------------华丽的分割线-------------------


3 hbase的伪分布(只有一个节点，使用自己的zookeeper实例)

3.1 解压安装包
     tar   -zxvf   hbase-0.94.7-security.tar.gz

3.2 vi   conf/hbase_env.sh
    export JAVA_HOME=/usr/local/jdk
    export HBASE_MAMAGES_ZK=true

3.3 vi   conf/hbase.site.xml
     <property>
       <name>hbase.rootdir</name>
       <value>hdfs://hadoop:9000/hbase</value>
     </property>
     <property>
       <name>hbase.cluster.distributed</name>
       <value>true</value>
     </property>
     <property>
       <name>hbase.zookeeper.quorum</name>
       <value>hadoop</value>
     </property>

3.4 保证hdfs正常运行,start-all.sh
     bin/start_hbase.sh

3.5 检查进程jps
    HQuorumPeer    HMaster   HRegionServer
   

---------------华丽的分割线-------------------


4 搭建hbase集群(hadoop作为主节点，hadoop1和hadoop2作为从节点)

4.1 解压 hbase-0.94.7-security.tar.gz

4.2 编辑文件conf/hbase-env.sh 修改内容
     export JAVA_HOME=/usr/local/jdk
    export HBASE_MANAGES_ZK=false
4.3 编辑文件conf/hbase-site.xml 修改内容
     <property>
       <name>hbase.rootdir</name>
       <value>hdfs://hadoop:9000/hbase</value>
     </property>
     <property>
       <name>hbase.cluster.distributed</name>
       <value>true</value>
     </property>
     <property>
       <name>hbase.zookeeper.quorum</name>
       <value>hadoop0,hadoop1,hadoop2</value>
     </property>

4.4 编辑 conf/regionservers 修改内容
    hadoop1
    hadoop2

4.5 scp     -rq     hbase/     hadoop1:/usr/local
    scp     -rq     hbase/     hadoop2:/usr/local

4.6 确保hdfs，zookeeper集群正常启动，在hadoop上启动hbase
    bin/start-hbase.sh

4.7 检查进程jps     hadoop新增HMaster，从节点新增HRegionServer
    查看http://hadoop0:60010