设为首页 收藏本站
查看: 992|回复: 0

[经验分享] Hadoop初学指南(9)--hadoop1的集群安装

[复制链接]

尚未签到

发表于 2018-10-31 07:44:02 | 显示全部楼层 |阅读模式
  本文主要介绍了hadoop1.2版本集群的安装步骤
  1分布结构
  由于是实验环境,所以只是简单的实现hadoop1.2版本的集群:
  主节点(1个,是hadoop0):NameNode、JobTracker
  从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker,其中hadoop1还包含SecondaryNameNode
  2 各节点重新产生ssh加密文件(可参照hadoop1伪分布安装过程中的加密文件生成步骤)
  3 编辑各个节点的/etc/hosts,在该文件中含有所有节点的ip与hostname的映射信息
  在这里,3台机器的ip和hosts对应如下:
DSC0000.jpg

  之后4到7步为可选步骤,在实验环境中可以直接在VM中复制一台主机生成另两台主机,但在实际生产中,可以用下面的方法把hadoop0中的配置依次复制到各个主机(当然肯定是用脚本批量复制了)。
  4 两两节点之间的SSH免密码登陆
  命令如下:
  ssh-copy-id -i  hadoop1
  scp /root/.ssh/authorized_keys   hadoop1:/root/.ssh/
  5 把hadoop0的hadoop目录下的logs和tmp删除
  6 把hadoop0中的jdk、hadoop文件夹复制到hadoop1和hadoop2节点
  命令如下:
  scp  -r /usr/local/jdk   hadoop1:/usr/local/
  7 把hadoop0的/etc/profile复制到hadoop1和hadoop2节点,在目标节点中执行source  /etc/profile
  8 编辑hadoop0的配置文件slaves,改为从节点的hostname,分别是hadoop1和hadoop2,修改配置文件masters,改为从节点的hostname(hadoop1)。
DSC0001.jpg

  9 格式化,在hadoop0节点执行hadoop namenode -format
  10 启动,在hadoop0节点执行start-all.sh
DSC0002.jpg DSC0003.jpg

DSC0004.jpg

  至此hadoop1.2版本的集群配置完毕,各个节点情况如图所示。
  ****注意:对于配置文件core-site.xml和mapred-site.xml在所有节点中都是相同的内容。


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-628663-1-1.html 上篇帖子: Hadoop、Spark、HBase与Redis的适用性讨论(一):Hadoop Vs. Spark 下篇帖子: Hadoop、Spark、HBase与Redis的适用性讨论(二):HBase
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表