设为首页 收藏本站
查看: 1916|回复: 0

[经验分享] Hadoop的集群搭建

[复制链接]

尚未签到

发表于 2017-12-17 07:03:23 | 显示全部楼层 |阅读模式
  主服务器  master     --NameNode      SecondaryNameNode       ResourceManager
  从服务器  slave1      --DataNode     NodeManager
  从服务器  slave2      --DataNode     NodeManager
  我们需要三个虚拟机 (做好一个后面克隆两个即可)
  一、      关闭防火墙
  关闭防火墙
  systemctl stop firewalld.service #停止firewall
  systemctl disable firewalld.service  #禁止firewall开机启动
  firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)
  二、免密码登陆(配置)
  三、  集群配置
  1.上传安装包
  JDK安装包
  jdk-7u71-linux-x64.tar.gz
  hadoop安装包
  hadoop-2.8.0.tar.gz
  2、安装解压  JDK  Hadoop
  tar -xvf jdk-7u71-linux-x64.tar.gz
  tar -xvf hadoop-2.8.0.tar.gz
  3、在跟目录中创建一个文件夹software    用来存放JDK和Hadoop
  mkdir /software
  4、配置环境变量           vi /etc/profile
  以下代码  可以复制粘贴   (注意安装的版本)
  JAVA_HOME=/home/hadoop/jdk1.7.0_71
  PATH=$JAVA_HOME/bin:$PATH
  CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  export JAVA_HOME
  export PATH

  export>  export HADOOP_HOME=/root/hadoop-2.8.0
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  5、退出当前用户  重新登陆  exit    检查JDK和Hadoop是否安装成功
  java –version   
  hadoop –version
  6、进入Hadoop的bin目录配置文件    (注意自己所安装的版本)
  1)配置vi /hadoop-env.sh文件
  export JAVA_HOME=/home/hadoop/jdk1.7.0_71
  2)配置slaves文件,增加slave主机名
  slave1
  slave2
  3)配置core-site.xml
  <property>
  <name>fs.defaultFS</name>
  <value>hdfs://master:9000</value>
  </property>

  <!-->  <property>
  <name>io.file.buffer.size</name>
  <value>131072</value>
  </property>
  <!-- 指定hadoop临时目录,自行创建 -->
  <property>
  <name>hadoop.tmp.dir</name>
  <value>/home/chenyun/hadoop/tmp</value>
  </property>
  /root/hadoop-2.8.0/etc/hadoop
  7、配置hdfs-site.xml      需要创建一个文件夹    创建俩子文件   hdfs  tmp
  hdfs中创建name    data  两个文件   mkdir …
  (注意修改自己的路径)
  <configuration>
  <property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>master:50090</value>
  </property>
  <property>
  <name>dfs.replication</name>
  <value>2</value>
  </property>
  <property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/root/Biglong/hadoop/hdfs/name</value>
  </property>
  <property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/root/Biglong/hadoop/hdfs/data</value>
  </property>
  </configuration>
  8、配置yarn-site.xml       以下代码不用修改
  <configuration>
  <!-- Site specific YARN configuration properties -->
  <!-- Configurations for ResourceManager -->
  <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
  </property>
  <property>
  <name>yarn.resourcemanager.address</name>
  <value>master:8032</value>
  </property>
  <property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>master:8030</value>
  </property>
  <property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>master:8031</value>
  </property>
  <property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>master:8033</value>
  </property>
  <property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>master:8088</value>
  </property>
  </configuration>
  9、配置mapred-site.xml
  注意: 先要copy一份
  cp mapred-site.xml.template mapred-site.xml
  <configuration>
  <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
  </property>
  </configuration>
  10、格式化节点
  hdfs namenode –format    (只需要安装的时候格式化一次即可    格式化多了会造成节点丢失)
  11、hadoop集群全部启动   再sbin目录中输入
  ./start-all.sh
  12、
  15)通过web UI访问hadoop
  http://192.168.80.128:50070  #整个集群
  http://192.168.80.128:50090  #SecondaryNameNode的情况
  http://192.168.80.128:8088   #resourcemanager的情况
  http://192.168.80.128:19888  #historyserver(历史MapReduce运行情况)
  13  、
  Jps   
  如果节点如开头的一样   说明安装没有错误
  启动JobHistoryServer  备注(查看MapReduce历史执行记录,和hadoop关系不大,可忽略此步骤)
  cd hadoop-2.8.0/sbin
  ./mr-jobhistory-daemon.sh   start historyserver
  14、查看启动进程是否正常
  在master节点输入 jps命令,将会显示以下进程:
  3458 Jps
  3150 SecondaryNameNode
  2939 NameNode
  3364 ResourceManager
  在slave1、slave2上输入jps命名,将会显示以下进程:
  2969 NodeManager
  3191 Jps
  2801 DataNode
  如果进程不正常的话,进入hadoop-2.8.0/logs查看异常日志
  master节点
  1、hadoop-2.8.0/logs/hadoop-root-namenode-master.log   #namenode日志
  2、hadoop-root-secondarynamenode-master.log                 #SecondaryNameNode日志
  3、yarn-root-resourcemanager-master.log                          #ResourceManager日志
  slave1、slave2节日
  4、hadoop-root-datanode-slave1.log                                  #DataNode日志
  5、yarn-root-nodemanager-slave1.log                               #NodeManager日志
  15 、通过web UI访问
  hadoophttp://192.168.80.128:50070  #整个集群
  http://192.168.80.128:50090 #SecondaryNameNode的情况
  http://192.168.80.128:8088  #resourcemanager的情况
  http://192.168.80.128:19888 #historyserver(MapReduce历史运行情况)
  注意:
  如果master节点一直没有namenode进程的话,集群可以分开启动
  1)启动namenode:sbin/hadoop-daemon.sh startnamenode
  2)sbin/hadoop-daemon.shstart datanode

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-424903-1-1.html 上篇帖子: Hadoop(六)之HDFS的存储原理(运行原理) 下篇帖子: hadoop源码导入eclipse
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表