设为首页 收藏本站
查看: 1122|回复: 0

[经验分享] Hadoop伪分布式安装详细步骤(前提:使用root权限登录)-------<总结>

[复制链接]

尚未签到

发表于 2018-10-31 10:15:25 | 显示全部楼层 |阅读模式
  前提:使用root用户登录系统,减少不必要的麻烦,以及用户切换
  (推荐几个工具)
  ----------------
  1.PieTTY 0.3.26.exe:window下安全的远程连接程序(window下连接虚拟机中linux)。
  2.Winscp:支持ssh的文件传输软件。(可以在window下实现和linux文件交互)
  1.在虚拟机下安装好linux系统
  2.设置静态ip,右键工作栏上电脑符号,修改ip。
  2.1重启网卡:service network restart
  2.2验证:ifconfig,查看是否正确,ping,查看是否和物理机联通
  3.修改主机名:
  3.1修改当前会话主机名:hostname 主机名
  3.2修改配置文件主机名:vi /etc/sysconfig/network中
  hostname=主机名
  4.把主机名和ip绑定
  4.1vi /etc/hosts 增加一行
  192.168.80.100 主机名(hadoop)
  验证:在物理机上 ping hadoop
  5.关闭防火墙运行(一定要关闭)
  service iptables stop
  验证:service iptables status
  6.关闭防火墙自动运行
  执行命令:chkconfig iptables off
  7.SSH免登陆(具体见 博客:ssh免登陆)
  7.1切换到所在目录  /root/.ssh文件夹
  7.2执行命令产生秘(公)钥
  ssh-keygen -t rsa

  会产生两个文件>  7.3执行命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
  7.4验证: ssh 主机名 看是否需要密码
  8.安装jdk(我们的jdk和hadoop都安装在/usr/local下)
  a) 执行命令 rm -rf /usr/local/* 删除所有内容
  b) 使用工具winscp把jdk文件从windows复制到/usr/local下
  c) 执行命令 赋予执行权限 chmod  u+x  jdk文件名
  d) 进行解压缩 ./文件名(要在/usr/local下)
  e) 执行命令重命名  mv jdk-.... jdk(方便操作)
  f) 设置环境变量 vi /etc/profile
  增加两行内容
  export JAVA_HOME=/usr/local/jdk
  export PATH=.:$JAVA_HOME/bin:$PATH
  保存退出
  设置立即生效:source /etc/profile
  验证:java -version
  8.安装hadoop
  a) 执行命令 tar -zxvf hadoop-1.1.2.tar.gz进行解压缩
  b) 重命名 mv hadoop-1.1.2 hadoop
  c) 设置环境变量 vi /etc/profile
  d) 增加export HADOOP_HOME=usr/local/hadoop
  e) 修改path 增加:$HADOOP_HOME/bin
  f) 执行source /etc/profile
  g) 修改hadoop配置文件
  i. 修改四个配置文件
  hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
  ii. hadoop-env.sh 修改第九行 jdk路径指定
  iii. core-site.xml
  iv. 具体修改
  ------------------------------------------
  con/core-site.xml:
  
  
  fs.default.name
  
  hdfs://hadoop:9000
  change your own hostname
  
  
  hadoop.tmp.dir
  
  /usr/local/hadoop/tmp
  
  
  conf/mapred-site.xml:
  
  
  mapred.job.tracker
  
  hadoop:9001
  
  
  conf/hdfs-site.xml:
  
  
  dfs.replication
  
  1
  
  
  dfs.permissions
  false
  
  -----------------------------------------------
  v. 对hadoop进行格式化:
  hadoop namenode -format
  执行命令start-all.sh启动执行命令jps 验证,发现5个进程通过浏览器查看(linux)
  在windows下查看,修改hosts文件192.168.80.100 hadoop
  然后可以直接  hadoop:50070进行查看


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-628840-1-1.html 上篇帖子: hadoop生态上几个技术的关系与区别-----> hive、pig、hbase 关系与区别 下篇帖子: hadoop streaming方式下的参数传递
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表