设为首页 收藏本站
查看: 1356|回复: 0

[经验分享] centos7 搭建hadoop

[复制链接]

尚未签到

发表于 2017-12-17 08:32:52 | 显示全部楼层 |阅读模式
  参考文档:http://blog.csdn.net/xiaoxiangzi222/article/details/52757168
  https://waylau.com/centos-7-installation-and-configuration/
  采用虚拟机搭建;
  工具:centos7 ,jdk1.7 ,hadoop2.8;



  • 安装虚拟机,创建centos7后,注意下手动修改下网络设置;  
  1.1 这里主要是通过查看【虚拟机】--》【虚拟网络编辑器】--》查看虚拟机的【网关ip】-->设置虚拟网卡【VMware Network Adapter VMnet8】的协议4 --》设置centos7的有线连接(改成手动的自己给定的ip)--》宿主机ping下虚拟机中的ip,有返回的包表示网络通了
  1.2 图解
DSC0000.png

DSC0001.png

DSC0002.png

DSC0003.png

DSC0004.png

  OK了,可以进行下一步操作了;

  2.关闭防火墙
  centos7 默认加载的是 firewall
  2.1 查看防火墙
  firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)
  2.2 关闭防火墙
  systemctl stop firewalld.service #停止firewall
  systemctl disable firewalld.service #禁止firewall开机启动

  3. 开启ssh服务;
  3.1 ssh 是否安装 : rpm -qa | grep ssh
  3.2  查看ssh 是否开启: ps -e | grep ssh
  3.3 重启ssh :service sshd restart
  3.4 设置ssh开机自启:chkconfig sshd on
  3.5 本地连接 服务器,将jdk等需要用的软件上传到Linux上,这里本地选用什么软件上传ssh,自选;

     4.卸载centos7自带的jdk,重新安装jdk ;
  4.1 查看安装的jdk: rpm -qa|grep jdk
  4.2 然后卸载 : yum -y remove java-1.*
  卸载方法2 : rpm -e --nodeps  jdk相关
  #rpm -e  --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.i686
  #rpm -qa |grep java
  #rpm -qa |grep jdk
  #rpm -qa |grep gcj
  4.3.安装并配置jdk;
  在/etc/profile文件中加入:
  # vi /etc/profile   
  export JAVA_HOME=/usr/java/jdk1.7.0_76
  export PATH=$JAVA_HOME/bin:$PATH

  export>  source /etc/profile

5.修改虚拟机的hostname和设置DNS解析;

  5.1 查看 hostname : hostname   
  5.2 修改 : [iyunv@localhost ~]# hostnamectl set-hostname master
           [iyunv@localhost ~]# hostnamectl set-hostname node1
           [iyunv@localhost ~]# hostnamectl set-hostname node2
  因为 hadoop 集群之间通过主机名互相访问,所以必须设置 dns 解析
  5.3 修改hosts指令:在文本最后追加一行  

  gedit /etc/hosts  

  192.168.49.100    master  
  192.168.49.101    node1
  
  192.168.49.102    node2
  5.4 检验各个主机之间能否连通  
  ping mater
  ping node1
  ping node2
  


6.配置SSH,实现节点间的无密码登录
  6.1 ssh localhost
  出现以下界面说明安装成功;
DSC0005.png

  6.2 生成密钥Pair
  

ssh-keygen -t rsa  

  输入之后一直选择enter即可。生成的秘钥位于 ~/.ssh文件夹下。可用cd 命令进入查看。
  注意该文件夹是以“.”开头的,是隐藏文件
DSC0006.png

  6.3 在master上,导入authorized_keys
[iyunv@master .ssh]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

  

6.4 远程无密码登录(把master上的authorized_keys拷贝到其他主机的相应目录下)  

  #进入master的.ssh目录,执行复制操作
  scp authorized_keys root@node1:~/.ssh/
  scp authorized_keys root@node2:~/.ssh/
   DSC0007.png
  如果不是root用户的话,修改各台主机上authorized_keys文件的权限:
  所有机器上,均执行命令:
  chmod 600 .ssh/authorized_keys
  完成之后,在master上执行下面操作,检查免密码登录是否成功。
DSC0008.png

  未完,等下更新

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-424930-1-1.html 上篇帖子: scala+hadoop+spark环境搭建 下篇帖子: Hadoop Hive sql 语法详解
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表