Hadoop+Flume+Kafka+Zookeeper集群环境搭建（一）

快乐的老鼠

Hadoop+Flume+Kafka+Zookeeper集群环境搭建

1.部署基础条件

1.1 硬件条件

IP

hostname

192.168.100.103

mater

192.168.100.104

flumekafka1

192.168.100.105

flumekafka2

192.168.100.106

flumekafka3

　　注意：修改hostname的方法是：
　　（1）       vim /etc/hostname
　　（2）       将localhost改成您所需要的内容

1.2 修改ssh
　　在master机器上执行下面的命令：
　　

$ ssh -keygen -t dsa -P ''  -f  ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys　　
　　

scp ~/.ssh/authorized_keys flumekafka1 ~/.ssh/
scp ~/.ssh/authorized_keys flumekafka2 ~/.ssh/　　
　　scp ~/.ssh/authorized_keys flumekafka1 ~/.ssh/
　　

注意：
（1）若提示.ssh目录不存在，则表示此机器从未运行过ssh，因此运行一次即可创建.ssh目录。（2）.ssh/的权限为600,authorized_keys的权限为700，权限大了小了都不行。　　

1.3 JAVA环境变量的配置
　　l  下载jdk（版本是：jdk-1.7.0_80）
　　l  将jdk的压缩包解压到/home/bms目录下
　　l  配置环境变量
　　1）  vim /etc/profile
　　2）  添加如下内容
　　export JAVA_HOME=/usr/lib/jvm/jdk1.7.0._80
　　export JRE_HOME=${ JAVA_HOME }/jre
　　export CLASSPATH=.:${ JAVA_HOME }/lib: ${ JRE_HOME}/lib
　　export PATH=${ JAVA_HOME }/bin
　　3）  保存文件
　　注意：上述四台虚拟机要进行同样的配置

1.4 安装hadoop
　　l  下载hadoop-2.6.0
　　l  将hadoop的压缩包解压到/home/bms目录下，解压命令式：tar
-zxvf hadoop-2.6.0.tar.gz
　　l  配置hadoop的环境变量
　　按着配置JAVA环境变量的方法在/etc/profile中添加如下内容：
　　exportHADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
　　exportHADOOP_OPTS=”-Djava.library.path=$HADOOP_HOME/lib”
　　export HADOOP_HOME=/home/bms/Hadoop-2.6.0
　　exportPATH=$PATH:$HADOOP_HOME/bin

1.5 hadoop相关配置
　　注意：相关的配置文件都在/home/bms/Hadoop-2.6.0/etc/hadoop下面
　　l  配置hadoop_env.sh
　　export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_80
　　l  配置core-site.xml
　　<property>
　　<name>hadoop.tmp.dir</name>
　　<value>/root/Hadoop/tmp</value>
　　<description>Abase for other temporarydirectories.</description>
　　</property>
　　<property>
　　<name>fs.defaultFS</name>
　　<value>hdfs://master:9000</value>
　　</property>
　　<property>
　　<name>io.file.buffer.size</name>
　　<value>4096</value>
　　</property>
　　l  配置hdfs-site.xml
　　<property>
　　<name>dfs.replication</name>
　　<value>3</value>
　　</property>
　　<property>
　　<name>dfs.data.dir</name>
　　<value>/root/hadoop/hdfs/data</value>
　　</property>
　　<property>
　　<name>dfs.name.dir</name>
　　<value>/root/hadoop/hdfs/name</value>
　　</property>
　　l  配置mapred-site.xml
　　<property>
　　<name>mapreduce.framework.name</name>
　　<value>yarn</value>
　　<final>true</final>
　　</property>
　　<property>
　　<name>mapreduce.jobtracker.http.address</name>
　　<value>master:50030</value>
　　</property>
　　<property>
　　<name>mapreduce.jobhistory.address</name>
　　<value>master:10020</value>
　　</property>
　　<property>
　　<name>mapreduce.jobhistory.webapp.address</name>
　　<value>master:19888</value>
　　</property>
　　<property>
　　<name>mapred.job.tracker</name>
　　<value>http://master:9001</value>
　　</property>
　　l  配置yarn.xml
　　<property>
　　<name>yarn.resourcemanager.hostname</name>
　　<value>master</value>
　　</property>
　　<property>
　　<name>yarn.nodemanager.aux-services</name>
　　<value>mapreduce_shuffle</value>
　　</property>
　　<property>
　　<name>yarn.resourcemanager.address</name>
　　<value>master:8032</value>
　　</property>
　　<property>
　　<name>yarn.resourcemanager.scheduler.address</name>
　　<value>master:8030</value>
　　</property>
　　<property>
　　<name>yarn.resourcemanager.resource-tracker.address</name>
　　<value>master:8031</value>
　　</property>
　　<property>
　　<name>yarn.resourcemanager.admin.address</name>
　　<value>master:8033</value>
　　    </property>
　　    <property>
　　       <name>yarn.resourcemanager.webapp.address</name>
　　       <value>master:8088</value>
　　</property>
　　l  配置slaves文件
　　flumekafka1
　　flumekafka2
　　flumekafka3

1.6 将master上/home/bms/Hadoop-2.6.0整个文件分别拷贝到三个slave虚拟机上面

1.7 &#26684;式化namenode
　　在master虚拟机上执行如下操做：
　　l  Cd /home/bms/Hadoop-2.6.0/bin
　　l  hadoop namenode -format

1.7 启动hadoop
　　在master虚拟机上执行如下操做：
　　l  cd /home/bms/Hadoop-2.6.0/sbin
　　l  ./start-all.sh

1.8 查看java进程
　　1）在master上操做如下命令
　　

$ jps
3694 NameNode
3882 SecondaryNameNode
7216 Jps
4024 ResourceManager　　
　　2）在slave上执行如下操作
　　

$ jps
1913 NodeManager
2673 Jps
1801 DataNode　　

Hbase与zookeeper集群部署的步骤

1.部署基础条件

1.1 硬件条件

IP

hostname

192.168.100.103

mater

192.168.100.104

flumekafka1

192.168.100.105

flumekafka2

192.168.100.106

flumekafka3

　　

1.2 下载hbase-0.98.13-hadoop2的安装包

1.3 将hbase的压缩包解压到master的/home/bms目录下

1.4 配置hbase的环境变量
　　1）在master上做如下操作
　　l  Vim /etc/profile
　　l  在上述文件中添加如下内容：
　　Export PATH=$PATH:/home/bms/hbase-0.98.13-hadoop2/bin
　　2）在所有的slave上做与master上一样的操作

1.5 配置hbase
　　1）cd /home/bms/hbase-0.98.13-hadoop2/conf
　　2）在hbase-env.sh文件中添加如下内容
　　export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_80
　　export HBASE_MANAGES_ZK=false
　　3）在hbase-site.xml文件中添加如下内容

<configuration>

  <property>

    <name>hbase.rootdir</name>

   <value>hdfs://master:9000/hbase</value>

  </property>

  <property>

<name>hbase.cluster.distributed</name>

<value>true</value>

  </property>

<property>

<name>hbase.zookeeper.quorum</name>

<value>flumekafka1,flumekafka2, flumekafka3</value>

</property>

<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2222</value>　　

</property>

<property>

   <name>hbase.zookeeper.property.dataDir</name>

    <value>/home/bms/zookeezookeeper-3.4.5/zookeeper-data</value>

</property>

<property>

<name>hbase.master</name>

<value>master</value>

</property>

</configuration>   

4）在regionservers文件中添加如下内容

flumekafka1
flumekafka2
flumekafka3
1.6 将master上/home/bms/hbase-0.98.13-hadoop2整个文件拷贝到其余的三个slave机器上面。

1.7 zookeeper部署
　　1）下载zookeeper安装文件（zookeeper-3.4.5压缩包）
　　2）将zookeeper-3.4.5压缩包加压到flumekafka1虚拟机的/home/bms目录下
　　3）配置zookeeper环境变量
　　l  vim /etc/profile
　　l  在上述文件中添加如下内容
　　export  ZOOKEEPER_HOME=/home/bms/zookeeper-3.4.5
　　export PATH=$PATH:${ZOOKEEPER_HOME }/bin
　　4）将/home/bms/zookeeper-3.4.5/conf/ 目录下的zoo_sample.cfg 改名成 zoo.cfg操作命令是：
　　l  cd /home/bms/zookeeper-3.4.5/conf
　　l  mv zoo_sample.cfg  zoo.cfg
　　5）修改zoo.cfg文件内容如下
　　

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can passbetween
# sending a request and getting anacknowledgement
syncLimit=5
# the directory where the snapshot is stored.
dataDir=/home/bms/zookeeper-3.4.5/zookeeper-data
# the port at which the clients will connect
clientPort=2222
server.1=flumekafka1:2888:3888
server.2= flumekafk21:2888:3888
server.3= flumekafka3:2888:3888　　
　　6）分别在将flunekafka1上/home/bms/zookeeper-3.4.5整个目录拷贝到另外两台slave虚拟机上
　　注意：最后记得在部署zookeeper的节点上的/root/zookeeper/zookeeper-data的目录下新建一个myid文件里写上zoo.cfg文件对应的server号码，flumekafka1写1，flumekafka2写2，flumekafka3写3，这样基本就完成了zookeeper的配置了。
　　7）分别在三台slave机器上执行下面的操作
　　l  cd /home/bms/zookeeper-3.4.5/bin
　　l  zookeeper/bin/zkServer.sh start
　　8)     分别在三台slave机器上执行下面的操作
　　l  zookeeper/bin/zkServer.sh status(验证zookeeper的启动状态)
　　9）在master上面执行下面的命令
　　l  cd /homehbase/bin/start-hbase.sh

FlumeNG部署的步骤

1.1    下载FlumeNG
　　下载地址是：http://flume.apache.org/download.html

1.2    下载FlumeNG
　　将下载的安装包解压到master的/home/bms目录下
　　l  将apache-flume-1.6.0-bin.tar.gz拷贝到/home/bms目录下面
　　l  执行tar -zxvf apache-flume-1.6.0-bin.tar.gz

1.3    下载FlumeNG
　　关于flume的相关配置和运行方式请查看个人博客：http://l=blog.csdn.net/xuguokun1986

Kafka与zookeeper部署的步骤
　　关于kafka的相关配置和运行方式请查看个人博客：http://l=blog.csdn.net/xuguokun1986