Hadoop2.4.1环境

wangl

主要列出在安装hadoop 2.4.1过程中各个文件配置情况，其他步骤请参考网络其他资源进行操作　　1、JDK安装和SSH互信（略过）
　　2、各节点IP和hostname如下（各节点需配置）
[hadoop@master ~]$ cat /etc/hosts
　　127.0.0.1       localhost
100.12.56.221   slave-1
100.12.56.222   slave-2
100.12.56.223   slave-3
100.12.56.224   slave-4
100.12.56.227   slave-5
100.12.56.228   master
　　3、各节点操作使用hadoop用户进行，hadoop安装目录在/home/hadoop/hadoop-2.4.1下
　　4、JAVA环境变量配置如下
[hadoop@master hadoop-2.4.1]$ cat /etc/profile（各节点需配置）
export JAVA_HOME=/usr/java/jdk1.7.0_51
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=.:$JAVA_HOME/bin:$PATH
　　export PATH=/home/hadoop/hadoop-2.4.1/bin:/home/hadoop/hadoop-2.4.1/bin:$PATH
#该环境变量的配置，让shell能够查找到hadoop的类路径
　　5、master创建下这几个目录(这几个目录不知道是否必须创建，本例实验时创建了目录，实验成功)
mkdir -p /home/hadoop/tmp
mkdir -p /home/hadoop/dfs/name
mkdir -p /home/hadoop/dfs/data
　　6、编辑hadoop-env.sh（master节点）
vi /home/hadoop/hadoop-2.4.1/etc/hadoop/hadoop-env.sh
#添加如下内容
export JAVA_HOME=/usr/java/jdk1.7.0_51
　　7、编辑yarn-env.sh（master节点）
vi /home/hadoop/hadoop-2.4.1/etc/hadoop/yarn-env.sh
#添加如下内容
export JAVA_HOME=/usr/java/jdk1.7.0_51
　　8、编辑slaves（master节点）
vi /home/hadoop/hadoop-2.4.1/etc/hadoop/slaves
#添加如下内容
slave-1
slave-2
slave-3
slave-4
slave-5
　　9、编辑core-site.xml（master节点）
vi /home/hadoop/hadoop-2.4.1/etc/hadoop/core-site.xml
#添加如下内容

  
    fs.defaultFS
    hdfs://master:8020
  
　　
    io.file.buffer.size
    131072
  
　　
    hadoop.tmp.dir
    file:/home/hadoop/tmp
    Abase for other temporary   directories.
  
　　
    hadoop.proxyuser.hadoop.hosts
    *
  
　　
    hadoop.proxyuser.hadoop.groups
    *
  

　　
10、编辑hdfs-site.xml（master节点）
vi /home/hadoop/hadoop-2.4.1/etc/hadoop/hdfs-site.xml

  
    dfs.namenode.secondary.http-address
    master:9001
  
　　
    dfs.namenode.name.dir
    file:/home/hadoop/dfs/name
  
　　
    dfs.datanode.data.dir
    file:/home/hadoop/dfs/data
  
　　
    dfs.replication
    3
  
　　
    dfs.webhdfs.enabled
    true
  
　　
　　11、编辑mapred-site.xml（master节点）
vi /home/hadoop/hadoop-2.4.1/etc/hadoop/mapred-site.xml

  
    mapreduce.framework.name
    yarn
  
　　
    mapreduce.jobhistory.address
    master:10020
  
　　
    mapreduce.jobhistory.webapp.address
    master:19888
  

　　12、编辑yarn-site.xml（master节点）
vi /home/hadoop/hadoop-2.4.1/etc/hadoop/yarn-site.xml

  
    yarn.nodemanager.aux-services
    mapreduce_shuffle
  
  
    yarn.nodemanager.aux-services.mapreduce.shuffle.class
    org.apache.hadoop.mapred.ShuffleHandler
  
  
    yarn.resourcemanager.address
    master:8032
  
  
    yarn.resourcemanager.scheduler.address
    master:8030
  
  
    yarn.resourcemanager.resource-tracker.address
    master:8031
  
  
    yarn.resourcemanager.admin.address
    master:8033
  
  
    yarn.resourcemanager.webapp.address
    master:8088
  

　　13、拷贝软件到其他节点（master节点）
scp -r /home/hadoop/hadoop-2.4.1 slave-1:/home/hadoop/
scp -r /home/hadoop/hadoop-2.4.1 slave-2:/home/hadoop/
scp -r /home/hadoop/hadoop-2.4.1 slave-3:/home/hadoop/
scp -r /home/hadoop/hadoop-2.4.1 slave-4:/home/hadoop/
scp -r /home/hadoop/hadoop-2.4.1 slave-5:/home/hadoop/
　　14、格式化hdfs文件系统（master节点）
hdfs namenode –format
　　15、启动yarn
/home/hadoop/hadoop-2.4.1/sbin/start-yarn.sh（master节点）
16、jps
master节点：
[hadoop@master sbin]$ jps
8783 NameNode
8981 SecondaryNameNode
9759 Jps
9132 ResourceManager
　　slave节点：
[hadoop@slave-5 ~]$ jps
6911 DataNode
7035 NodeManager
7281 Jps
　　17、网页上访问
http://master:8088/