设为首页 收藏本站
查看: 1328|回复: 0

[经验分享] 基于ZooKeeper的Hadoop HA集群搭建

[复制链接]

尚未签到

发表于 2018-10-28 14:33:57 | 显示全部楼层 |阅读模式
  集群的规划
  Zookeeper集群:
  192.168.142.12 (bigdata12)
  192.168.142.13 (bigdata13)
  192.168.142.14 (bigdata14)
  Hadoop集群:
  192.168.142.12 (bigdata12)   NameNode1      ResourceManager1     Journalnode
  192.168.142.13 (bigdata13)   NameNode2      ResourceManager2     Journalnode
  192.168.142.14 (bigdata14)   DataNode1      NodeManager1
  192.168.142.15 (bigdata15)   DataNode2      NodeManager2
  1、准备工作:
  (1)、关闭防火墙:
  查看防火墙的状态: systemctl status firewalld.service
  关闭防火墙:       systemctl stop firewalld.service
  禁用防火墙(永久):systemctl disable firewalld.service
  (2)、安装JDK及配置环境变量
  tar -zxvf jdk-8u144-linux-x64.tar.gz -C ~/training/
  设置环境变量:vi ~/.bash_profile
  JAVA_HOME=/root/training/jdk1.8.0_144
  export JAVA_HOME
  PATH=$JAVA_HOME/bin:$PATH
  export PATH
  生效环境变量: source  ~/.bash_profile
  (3)、安装Hadoop及设置环境变量:
  解压:tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/
  设置环境变量:
  vi ~/.bash_profile
  HADOOP_HOME=/root/training/hadoop-2.7.3
  export HADOOP_HOME
  PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
  export PATH
  生效环境变量:
  source ~/.bash_profile
  (4)、设置免密码登录:
  a、生成密钥:
  ssh-keygen -t rsa
  (存储在~/.ssh目录)
  b、分发公钥:
  ssh-copy-id -i /root/.ssh/id_rsa.pub root@bigdata12
  c、验证:
  ssh bigdata12
  (5)、配置主机名:/etc/hosts文件
  vi /etc/hosts
  192.168.157.11 bigdata11
  2、安装配置ZooKeeper集群:参考“ZooKeeper安装说明”
  3、配置Hadoop集群:(在bigdata12上安装)
  (1)修改hadoop-env.sh文件:(在bigdata12上执行)
  export JAVA_HOME=/root/training/jdk1.8.0_144
  (2)修改core-site.xml文件:(在bigdata12上执行)
  
  
  
  fs.defaultFS
  hdfs://ns1
  
  
  
  hadoop.tmp.dir
  
  /root/training/hadoop-2.7.3/tmp
  
  
  
  ha.zookeeper.quorum
  bigdata12:2181,bigdata13:2181,bigdata14:2181
  
  
  (3)修改hdfs-site.xml(在bigdata12上执行)
  
  
  
  dfs.nameservices
  ns1
  
  
  
  dfs.ha.namenodes.ns1
  nn1,nn2
  
  
  
  dfs.namenode.rpc-address.ns1.nn1
  bigdata12:9000
  
  
  
  dfs.namenode.http-address.ns1.nn1
  bigdata12:50070
  
  
  
  dfs.namenode.rpc-address.ns1.nn2
  bigdata13:9000
  
  
  
  dfs.namenode.http-address.ns1.nn2
  bigdata13:50070
  
  
  
  dfs.namenode.shared.edits.dir
  qjournal://bigdata12:8485;bigdata13:8485;/ns1
  
  
  
  dfs.journalnode.edits.dir
  
  /root/training/hadoop-2.7.3/journal
  
  
  
  dfs.ha.automatic-failover.enabled
  true
  
  
  
  dfs.client.failover.proxy.provider.ns1
  org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
  
  
  
  
  dfs.ha.fencing.methods
  
  sshfence
  shell(/bin/true)
  
  
  
  
  dfs.ha.fencing.ssh.private-key-files
  /root/.ssh/id_rsa
  
  
  
  dfs.ha.fencing.ssh.connect-timeout
  30000
  
  
  (4)、修改mapred-site.xml文件(在bigdata12上执行)
  
  
  mapreduce.framework.name
  yarn
  
  
  (5)、修改yarn-site.xml文件(在bigdata12上执行)
  
  
  
  yarn.resourcemanager.ha.enabled
  true
  
  
  
  yarn.resourcemanager.ha.rm-ids
  rm1,rm2
  
  
  
  yarn.resourcemanager.hostname.rm1
  bigdata12
  
  
  yarn.resourcemanager.hostname.rm2
  bigdata13
  
  
  
  yarn.resourcemanager.zk-address
  bigdata12:2181,bigdata13:2181,bigdata14:2181
  
  
  yarn.nodemanager.aux-services
  mapreduce_shuffle
  
  
  (6)、修改slaves文件(/root/training/hadoop-2.7.3/etc/hadoop),设置从节点
  bigdata14
  bigdata15
  (7)、创建目录(在bigdata12上执行)
  /root/training/hadoop-2.7.3/tmp
  /root/training/hadoop-2.7.3/journal
  (8)、将配置好的hadoop拷贝到其他节点
  scp -r /root/training/hadoop-2.7.3/ root@bigdata13:/root/training/
  scp -r /root/training/hadoop-2.7.3/ root@bigdata14:/root/training/
  scp -r /root/training/hadoop-2.7.3/ root@bigdata15:/root/training/
  (8)、启动ZooKeeper集群
  zkServer.sh start
  (9)、单独启动启动journalnode(bigdata12和bigdata13)
  hadoop-daemon.sh start journalnode
  (10)NameNode节点格式化HDFS(在bigdata12上执行)
  hdfs namenode -format
  (11)拷贝bigdata12的dfs目录到bigdata13
  /root/training/hadoop-2.7.3/tmp/dfs拷贝到bigdata13的/root/training/hadoop-2.7.3/tmp
  scp -r  dfs/ root@bigdata13:/root/training/hadoop-2.7.3/tmp
  (12)、格式化ZooKeeper(在bigdata12上执行)
  hdfs zkfc -formatZK
  日志:INFO ha.ActiveStandbyElector: Successfully created /hadoop-ha/ns1 in ZK.
  (13)、启动Hadoop集群(在bigdata12或 bigdata13上执行)
  start-all.sh
  (14)、单独启动ResourceManager(bigdata12或 bigdata13上执行,取决于待启动)
  yarn-daemon.sh start resourcemanager


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-627595-1-1.html 上篇帖子: Hadoop集群部署实战 下篇帖子: hadoop streaming 语法
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表