设为首页 收藏本站
查看: 1335|回复: 0

[经验分享] Hadoop新生报到(一) hadoop2.6.0伪分布式配置详解

[复制链接]

尚未签到

发表于 2017-12-18 15:28:35 | 显示全部楼层 |阅读模式
  首先先不看理论,搭建起环境之后再看;
  搭建伪分布式是为了模拟环境,调试方便。
  电脑是win10,用的虚拟机VMware Workstation 12 Pro,跑的Linux系统是centos6.5 ,装的hadoop2.6.0,jdk1.8;
  1.准备工作
  准备工作:把JDK和Hadoop安装包上传到linux系统(hadoop用户的根目录)
  系统环境:IP:192.168.80.99,
  linux用户:
  root/123456,hadoop/123456
  主机名:node
  把防火墙关闭,root执行:service iptables stop
  2.jdk安装
  1.在hadoop用户的根目录,Jdk解压,(hadoop用户操作)tar -zxvf jdk-8u65-linux-x64.tar.gz 解压完成后,在hadoop用户的根目录有一个jdk1.8.0_65目录
  2.配置环境变量,需要修改/etc/profile文件(root用户操作)切到root用户,输入su命令 vi /etc/profile 进去编辑器后,输入i,进入vi编辑器的插入模式在profile文件最后添加
  JAVA_HOME=/home/hadoop/jdk1.8.0_65
  export PATH=$PATH:$JAVA_HOME/bin
  编辑完成后,按下esc退出插入模式输入:,这时在左下角有一个冒号的标识
  q   退出不保存
  wq  保存退出
  q!   强制退出
  3.把修改的环境变量生效(hadoop用户操作)
  执行source /etc/profile
  4.执行 java -version 查看版本,如果成功证明jdk配置成功
  3.Hadoop 安装
  1.在hadoop用户的根目录,解压(hadoop用户操作)
  tar -zxvf hadoop-2.6.0.tar.gz
  解压完成在hadoop用户的根目录下有一个hadoop-2.6.0目录
  2.修改配置文件hadoop-2.6.0/etc/hadoop/hadoop-env.sh(hadoop用户操作)
  export JAVA_HOME=/home/hadoop/jdk1.8.0_65
  3.修改配置文件hadoop-2.6.0/etc/hadoop/core-site.xml,添加(hadoop用户操作)
  <property>
  <name>fs.defaultFS</name>
  <value>hdfs://node:9000</value>
  </property>
  4.修改配置文件hadoop-2.6.0/etc/hadoop/hdfs-site.xml,添加(hadoop用户操作)
  <property>
  <name>dfs.replication</name>
  <value>1</value>
  </property>
  5.修改修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml (hadoop用户操作),这个文件没有,需要复制一份
  cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
  添加
  <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
  </property>
  6.修改配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml,添加(hadoop用户操作)
  <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
  </property>
  7.修改主机名称(root用户操作),重启生效
  vi /etc/sysconfig/network
  修改HOSTNAME的值为用户名
  8.修改/etc/hosts文件(root用户操作),添加: ip 主机名称
  192.168.44.199(用自己的ip,下边讲如何获得)  node
  附:查看ip地址
  编辑-->虚拟网络编辑器
DSC0000.png

  net模式,选DHCP设置,得到ip地址起始
DSC0001.png

  net设置,得到网关
DSC0002.png

  点右边小电脑,选择 VPN Connections-->Configue VPN
DSC0003.png

  选中eth0,点有右边edit
DSC0004.png

  选择IP Settings ,根据自己的ip按图修改,Address就是你的ip地址,在起始ip地址和结束ip地址之间选一个就行
DSC0005.png

  9.格式化HDFS,在hadoop解压目录下,执行如下命令:(hadoop用户操作)
  bin/hdfs namenode -format
  注意:格式化只能操作一次,如果因为某种原因,集群不能用, 需要再次格式化,需要把上一次格式化的信息删除,在/tmp目录里执行 rm –rf *
  10.启动集群,在hadoop解压目录下,执行如下命令:(hadoop用户操作,截图用机后来改过,主机为gp)
  启动集群:sbin/start-all.sh   需要输入四次当前用户的密码(通过配置ssh互信解决,截图用机已经配置过ssh不用输密码)
DSC0006.png

  启动后,在命令行输入jps有以下输出
DSC0007.png

  关闭集群:sbin/stop-all.sh  需要输入四次当前用户的密码(通过配置ssh互信解决,我的同上)
DSC0008.png

  4.SSH互信配置(hadoop用户操作)
  rsa加密方法,公钥和私钥
  1.生成公钥和私钥
  在命令行执行ssh-keygen,然后回车,然后会提示输入内容,什么都不用写,一路回车
  在hadoop用户根目录下,有一个.ssh目录
  id_rsa私钥
  id_rsa.pub公钥
  known_hosts通过SSH链接到本主机,都会在这里有记录
  2.把公钥给信任的主机(本机)
  在命令行输入ssh-copy-id 主机名称
  ssh-copy-id hadoop
  复制的过程中需要输入信任主机的密码
  3.验证,在命令行输入:ssh 信任主机名称
  ssh hadoop
  如果没有提示输入密码,则配置成功
DSC0009.png

  至此,大功告成。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-425431-1-1.html 上篇帖子: mac os x 编译spark-2.1.0 for hadoop-2.7.3 下篇帖子: (第1篇)什么是hadoop大数据?我又为什么要写这篇文章?
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表