Hadoop+Flume+Kafka+Zookeeper集群环境搭建（一）
Hadoop+Flume+Kafka+Zookeeper集群环境搭建1.部署基础条件
1.1 硬件条件
IP
hostname
192.168.100.103
mater
192.168.100.104
flumekafka1
192.168.100.105
flumekafka2
192.168.100.106
flumekafka3
注意：修改hostname的方法是：
（1） vim /etc/hostname
（2） 将localhost改成您所需要的内容
1.2 修改ssh
在master机器上执行下面的命令：
$ ssh -keygen -t dsa -P ''-f~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys flumekafka1 ~/.ssh/
scp ~/.ssh/authorized_keys flumekafka2 ~/.ssh/
scp ~/.ssh/authorized_keys flumekafka1 ~/.ssh/
注意：
（1）若提示.ssh目录不存在，则表示此机器从未运行过ssh，因此运行一次即可创建.ssh目录。（2）.ssh/的权限为600,authorized_keys的权限为700，权限大了小了都不行。
1.3 JAVA环境变量的配置
l下载jdk（版本是：jdk-1.7.0_80）
l将jdk的压缩包解压到/home/bms目录下
l配置环境变量
1）vim /etc/profile
2）添加如下内容
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0._80
export JRE_HOME=${ JAVA_HOME }/jre
export CLASSPATH=.:${ JAVA_HOME }/lib: ${ JRE_HOME}/lib
export PATH=${ JAVA_HOME }/bin
3）保存文件
注意：上述四台虚拟机要进行同样的配置
1.4 安装hadoop
l下载hadoop-2.6.0
l将hadoop的压缩包解压到/home/bms目录下，解压命令式：tar
-zxvf hadoop-2.6.0.tar.gz
l配置hadoop的环境变量
按着配置JAVA环境变量的方法在/etc/profile中添加如下内容：
exportHADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
exportHADOOP_OPTS=”-Djava.library.path=$HADOOP_HOME/lib”
export HADOOP_HOME=/home/bms/Hadoop-2.6.0
exportPATH=$PATH:$HADOOP_HOME/bin
1.5 hadoop相关配置
注意：相关的配置文件都在/home/bms/Hadoop-2.6.0/etc/hadoop下面
l配置hadoop_env.sh
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_80
l配置core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>/root/Hadoop/tmp</value>
<description>Abase for other temporarydirectories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
l配置hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/hdfs/name</value>
</property>
l配置mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>master:50030</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>http://master:9001</value>
</property>
l配置yarn.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
l配置slaves文件
flumekafka1
flumekafka2
flumekafka3
1.6 将master上/home/bms/Hadoop-2.6.0整个文件分别拷贝到三个slave虚拟机上面
1.7 格式化namenode
在master虚拟机上执行如下操做：
lCd /home/bms/Hadoop-2.6.0/bin
lhadoop namenode -format
1.7 启动hadoop
在master虚拟机上执行如下操做：
lcd /home/bms/Hadoop-2.6.0/sbin
l./start-all.sh
1.8 查看java进程
1）在master上操做如下命令
$ jps
3694 NameNode
3882 SecondaryNameNode
7216 Jps
4024 ResourceManager
2）在slave上执行如下操作
$ jps
1913 NodeManager
2673 Jps
1801 DataNode
Hbase与zookeeper集群部署的步骤
1.部署基础条件
1.1 硬件条件
IP
hostname
192.168.100.103
mater
192.168.100.104
flumekafka1
192.168.100.105
flumekafka2
192.168.100.106
flumekafka3
1.2 下载hbase-0.98.13-hadoop2的安装包
1.3 将hbase的压缩包解压到master的/home/bms目录下
1.4 配置hbase的环境变量
1）在master上做如下操作
lVim /etc/profile
l在上述文件中添加如下内容：
Export PATH=$PATH:/home/bms/hbase-0.98.13-hadoop2/bin
2）在所有的slave上做与master上一样的操作
1.5 配置hbase
1）cd /home/bms/hbase-0.98.13-hadoop2/conf
2）在hbase-env.sh文件中添加如下内容
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_80
export HBASE_MANAGES_ZK=false
3）在hbase-site.xml文件中添加如下内容
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>flumekafka1,flumekafka2, flumekafka3</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2222</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/bms/zookeezookeeper-3.4.5/zookeeper-data</value>
</property>
<property>
<name>hbase.master</name>
<value>master</value>
</property>
</configuration>
4）在regionservers文件中添加如下内容
flumekafka1
flumekafka2
flumekafka3
1.6 将master上/home/bms/hbase-0.98.13-hadoop2整个文件拷贝到其余的三个slave机器上面。
1.7 zookeeper部署
1）下载zookeeper安装文件（zookeeper-3.4.5压缩包）
2）将zookeeper-3.4.5压缩包加压到flumekafka1虚拟机的/home/bms目录下
3）配置zookeeper环境变量
lvim /etc/profile
l在上述文件中添加如下内容
exportZOOKEEPER_HOME=/home/bms/zookeeper-3.4.5
export PATH=$PATH:${ZOOKEEPER_HOME }/bin
4）将/home/bms/zookeeper-3.4.5/conf/ 目录下的zoo_sample.cfg 改名成 zoo.cfg操作命令是：
lcd /home/bms/zookeeper-3.4.5/conf
lmv zoo_sample.cfgzoo.cfg
5）修改zoo.cfg文件内容如下
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can passbetween
# sending a request and getting anacknowledgement
syncLimit=5
# the directory where the snapshot is stored.
dataDir=/home/bms/zookeeper-3.4.5/zookeeper-data
# the port at which the clients will connect
clientPort=2222
server.1=flumekafka1:2888:3888
server.2= flumekafk21:2888:3888
server.3= flumekafka3:2888:3888
6）分别在将flunekafka1上/home/bms/zookeeper-3.4.5整个目录拷贝到另外两台slave虚拟机上
注意：最后记得在部署zookeeper的节点上的/root/zookeeper/zookeeper-data的目录下新建一个myid文件里写上zoo.cfg文件对应的server号码，flumekafka1写1，flumekafka2写2，flumekafka3写3，这样基本就完成了zookeeper的配置了。
7）分别在三台slave机器上执行下面的操作
lcd /home/bms/zookeeper-3.4.5/bin
lzookeeper/bin/zkServer.sh start
8) 分别在三台slave机器上执行下面的操作
lzookeeper/bin/zkServer.sh status(验证zookeeper的启动状态)
9）在master上面执行下面的命令
lcd /homehbase/bin/start-hbase.sh
FlumeNG部署的步骤
1.1 下载FlumeNG
下载地址是：http://flume.apache.org/download.html
1.2 下载FlumeNG
将下载的安装包解压到master的/home/bms目录下
l将apache-flume-1.6.0-bin.tar.gz拷贝到/home/bms目录下面
l执行tar -zxvf apache-flume-1.6.0-bin.tar.gz
1.3 下载FlumeNG
关于flume的相关配置和运行方式请查看个人博客：http://l=blog.csdn.net/xuguokun1986
Kafka与zookeeper部署的步骤
关于kafka的相关配置和运行方式请查看个人博客：http://l=blog.csdn.net/xuguokun1986
页:
[1]