安装hadoop

hhajhh

　　1:安装包
　　http://hadoop.apache.org/releases.html
　　http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
　　hadoop-2.6.4 （binary）
　　jdk-8u102-linux-x64.tar.gz
　　2：节点信息
　　centos7 * 3
　　master 10.10.0.115
　　slave1 10.10.0.116
　　slave2 10.10.0.117
　　3:安装过程
　　3.1 节下初始化（略）
　　主机名  防火墙  selinux  等
　　3.2 节点互信
　　[root@master ~]#ssh-keygen
　　[root@master ~]#cat /root/.ssh/id_rsa.pub >  /root/.ssh/authorized_keys
　　[root@master ~]#scp -r /root/.ssh slave1:/root/
　　[root@master ~]#scp -r /root/.ssh slave2:/root/
　　3.3 在所有节点安装jdk
　　[root@master ~]#tar -zxvf jdk-8u102-linux-x64.tar.gz
　　[root@master ~]#mkdir   /usr/soft
　　[root@master ~]#mv jdk1.8.0_102 /usr/soft/
　　[root@master ~]#vim /etc/profile
　　...
　　export JAVA_HOME=/usr/soft/jdk1.8.0_102

　　export>　　export PATH=$PATH:$JAVA_HOME/bin
　　[root@master ~]#source /etc/profile
　　[root@master ~]#java -version
　　java version "1.8.0_102"
　　Java(TM) SE Runtime Environment (build 1.8.0_102-b14)
　　Java HotSpot(TM) 64-Bit Server VM (build 25.102-b14, mixed mode)
　　其它节点同样操作
　　3.4 安装hadoop
　　先在master上安装配置，然后scp到其它节点即可
　　[root@master ~]#tar -zxvf hadoop-2.6.4.tar.gz
　　[root@master ~]#mv hadoop-2.6.4 /usr/soft/
　　[root@master ~]#cd /usr/soft/hadoop-2.6.4/
　　[root@master ~]#mkdir hdfs
　　[root@master ~]#mkdir hdfs/data
　　[root@master ~]#mkdir hdfs/name
　　[root@master ~]#mkdir tmp
　　[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/core-site.xml
　　
　　
　　fs.defaultFS
　　hdfs://10.10.0.115:9000
　　
　　
　　hadoop.tmp.dir
　　file:/usr/soft/hadoop-2.6.4/tmp
　　
　　
　　io.file.buffer.size
　　131702
　　
　　
　　[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/hdfs-site.xml
　　
　　
　　dfs.namenode.name.dir
　　file:/usr/soft/hadoop-2.6.4/hdfs/name
　　
　　
　　dfs.datanode.data.dir
　　file:/usr/soft/hadoop-2.6.4/hdfs/data
　　
　　
　　dfs.replication
　　2
　　
　　
　　dfs.namenode.secondary.http-address
　　10.10.0.115:9001
　　
　　
　　dfs.webhdfs.enabled
　　true
　　
　　
　　[root@master ~]#cp /usr/soft/hadoop-2.6.4/etc/hadoop/mapred-site.xml.template   /usr/soft/hadoop-2.6.4/etc/hadoop/mapred-site.xml
　　[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/mapred-site.xml
　　
　　
　　mapreduce.framework.name
　　yarn
　　
　　
　　mapreduce.jobhistory.address
　　10.10.0.115:10020
　　
　　
　　mapreduce.jobhistory.webapp.address
　　10.10.0.115:19888
　　
　　
　　yarn.nodemanager.aux-services
　　mapreduce_shuffle
　　
　　
　　yarn.nodemanager.auxservices.mapreduce.shuffle.class
　　org.apache.hadoop.mapred.ShuffleHandler
　　
　　
　　yarn.resourcemanager.address
　　10.10.0.115:8032
　　
　　
　　yarn.resourcemanager.scheduler.address
　　10.10.0.115:8030
　　
　　
　　yarn.resourcemanager.resource-tracker.address
　　10.10.0.115:8031
　　
　　
　　yarn.resourcemanager.admin.address
　　10.10.0.115:8033
　　
　　
　　yarn.resourcemanager.webapp.address
　　10.10.0.115:8088
　　
　　
　　yarn.nodemanager.resource.memory-mb
　　768
　　
　　
　　[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/hadoop-env.sh
　　...
　　export JAVA_HOME=/usr/soft/jdk1.8.0_102
　　[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/yarn-env.sh
　　...
　　export JAVA_HOME=/usr/soft/jdk1.8.0_102
　　[root@master ~]# cat  /usr/soft/hadoop-2.6.4/etc/hadoop/slaves
　　10.10.0.116
　　10.10.0.117
　　[root@master ~]#scp -r  /usr/soft/jdk1.8.0_102 slave1:/usr/soft/
　　[root@master ~]#scp -r  /usr/soft/jdk1.8.0_102 slave2:/usr/soft/
　　[root@master ~]#/usr/soft/hadoop-2.6.4/bin/hdfs namenode -format
　　[root@master ~]# /usr/soft/hadoop-2.6.4/sbin/start-all.sh
　　浏览器打开http://10.10.0.115:8088/
　　浏览器打开http://10.10.0.115:50070/