hadoop集群部署，cmaster , cslave1,cslave2-bjylpos的博客

liyeho

　　一，准备环境
　　1 使用VMware创建三台虚拟主机，最小化安装Centos7
　　2 配置好固定IP分别为192.168.2.75 ，192.168.2.76  192.168.2.77，并保证可以通外网
  # vi /etc/sysconfig/network-scirpts/ifcfg-eth0　　ONBOOT=yes
　　BOOTPROTO=static
　　IPADDR=192.168.2.75
　　NETMASK=255.255.254.0
　　GATEWAY=192.168.2.1
　　DNS1=192.168.2.1
　　生效：
#systemctl restart network　　
#ping  www.baidu.com
　　3 设置主机名 hostnamectl set-hostname cmaster cslave1 cslave2
　　4 做/etc/hosts中的解析：
　　192.168.2.75 cmaster
　　192.168.2.76 cslave1
　　192.168.2.77 cslave2
　　检查是否解析成功需要三台机器互相ping 通
  #ping cmaster　　
  #ping  cslave1
　　
  #ping  cslave2
　　3 永久关闭selinux
#setenfore 0　　
#getenfore
　　
disabled
　　4 关闭防火墙并设置为开机不启动
#systemctl stop firewalld　　
#systemctl disable firewalld
　　完成以上配置需要reboot
　　5 安装jdk1.8.0_151
# mkdir -p /home/jdk　　
# wget http://jdk1.8.0_151
　　
# tar -zxvf jdk-8u151-linux-x64.tar.gz -C /usr/local/
　　
# tail -3 /etc/profile
　　
   JAVA_HOME=/usr/local/jdk1.8.0_151
　　
  PATH=$PATH:$JAVA_HOME/bin
　　
  export JAVA_HOME PATH
　　生效：
# source /etc/profile　　检查：
# javac　　
# java -version
　　6 在window中完成 cmaster cslave1 cslave2的解析
　　用管理员权限，打开记事本C:\Windows\System32\drivers\etc\hosts
　　添加如下内容：
　　192.168.2.75 cmaster
　　192.168.2.76 cslave1
　　192.168.2.77 cslave2
　　二 正式安装
　　cmaster cslaver1 cslaver2 都做如下操作：
　　登录hadoop官网：http://hadoop.apache.org/releases.html 下载安装包hadoop-3.0.0.tar.gz
#mkdir -p /home/joe　　
#cd /home/joe
　　
#wget hadoop-3.0.0.tar.gz
　　
#tar -zxvf /home/joe/hadoop-3.0.0.0.tar.gz
　　1 解压完成后要修改hadoop的配置文件：
#vi /home/joe/hadoop-3.0.0/etc/hadoop/hadoop-env.sh　　在文件中找到export JAVA_HOME 修改为：
　　export JAVA_HOME=/usr/local/jdk1.8.0_151
　　2 修改core-site.xml文件:
#vi /home/joe/hadoop-3.0.0/etc/hadoop/core-site.xml　　在标签中插入如下内容：
　　
　　hadoop.tmp.dir/home/joe/cloudData
　　fs.defaultFShdfs://cmaster:8020
　　
　　3 修改yarn-site.xml文件
#vi /home/joe/hadoop-3.0.0/etc/hadoop/yarn-site.xml　　在标签中插入如下内容：
　　
　　
　　yarn.resourcemanager.hostnamecmaster
　　yarn.nodemanager.aux-servicesmapreduce_shuffle
　　
　　4 修改mapred-site.xml.template
　　将/home/joe/hadoop-3.0.0/etc/hadoop/目录下的mapred-site.xml.template重命名为mapred-site.xml
　　并用命令
#vi /home/joe/hadoop/etc/hadoop/mapred-site.xml　　在标签中插入如下内容：
　　mapreduce.framework.nameyarn
　　三启动hadoop
　　1 启动cmaster
#/home/joe/hadoop-3.0.0/sbin/hadoop-daemon.sh start namenode　　
#/home/joe/hadoop-3.0.0/sbin/yarn-daemon.sh start resourcemanager
　　检查是否启动成功
# jps　　1574 ResourceManager
　　6154 Jps
　　1451 NameNode
# ps aux |grep hadoop　　
# ss -tnulp   注意观察端口号8088 9870
　　web端输入：http://cmaster:8088/cluster
　　http://cmaster:9870/
　　能够访问即为安装成功
　　2 启动cslave1 cslave2
#/home//joe/hadoop-3.0.0/sbin/hadoop-daemon.sh start namenode　　
#/home/joe/hadoop-3.0.0/sbin/yarn-daemon.sh start resourcemanager
　　检查是否访问成功：
　　#jps
　　7858 DataNode
　　7989 NodeManager
　　8286 Jps
#ps aux |grep hadoop　　
#ss -tnulp
　　注意观察端口号：8042 9864
　　在web端输入：http://cslave1:8042
　　http://cslave2:9864
　　在web端输入：http://cslave1:8042
　　http://cslave2:9864
　　这样，cslave1 cslave2也安装成功
　　注意在cmaster的web界面中的Active Nodes中
　　可以看到节点数为2
　　到此hadoop集群部署成功完成