Hadoop集群安装部署

321ed

1.安装软件
    OS:centos6.5
    Hadoop：hadoop2.6.0
    JDK: jdk1.7.0_51
集群机器：
    192.168.0.208（主节点）
    192.168.0.209 (从节点)
    192.168.0.210 (从节点)

2.安装步骤
    如下安装步骤假设的JDK已经安装。
3.安装hadoop
（1）下载hadoop版本（hadoop2.7.0）
（2）解压hadoop-2.7.0.tar.gz
    tar zxvf hadoop-2.7.0.tar.gz  -C /opt/hadoop2/
    将hadoop解压到/opt/hadoop2 目录下。
（3）将hadoop添加到环境变量中
     打开/etc/profile 文件添加HADOOP_HOME
    export PATH=$HADOOP_HOME/bin:$PATH
(4)修改配置文件（$HADOOP_HOME/etc/hadoop目录下）
配置core-site.xml

1 2 3 4 5 6 7 8 9 10

<configuration> <property>     <name>fs.defaultFS</name>     <value>hdfs://192.168.0.208:9000</value> </property> <property>   <name>hadoop.tmp.dir</name>   <value>/opt/hadoop2/tmp</value> </property> </configuration>

配置hdfs-site.xml:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

<property> <name>dfs.namenode.name.dir</name> <value>/opt/hadoop2/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/hadoop2/data</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property>    <name>dfs.permissions</name>    <value>false</value> </property>

配置mapred-site.xml文件

1 2 3 4

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

配置yarn-site.xml文件

1 2 3 4 5 6 7 8 9 10 11 12

<property> <name>yarn.resourcemanager.hostname</name> <value>HB208</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.log.dir</name> <value>/opt/hadoop2/yarn_log</value> </property>

修改slaves文件，添加datanode节点hostname到slaves文件中
   209
   210
（5）将hadoop拷贝到209 和210 上

（6）格式化集群,在208节点上执行如下命令：

1	hadoop namenode -format

（7）启动集群，在208节点上执行如下命令：

1	start-all.sh

(8)通过浏览器查看hadoop是否安装成功：
    输入： http://hadoop130:50070