设为首页 收藏本站
查看: 1683|回复: 0

[经验分享] 详细 完整分布模式安装hadoop VirtualBox 3虚拟机

[复制链接]

尚未签到

发表于 2015-4-14 08:13:53 | 显示全部楼层 |阅读模式
  基础设备
宿主机器:

CPU:Intel® Core™ i5-2400 CPU @ 3.10GHz

内存:4G

硬盘:500G

操作系统:Win7 32Bit

Linux 版本:

CentOS-6.2-x86_64-minimal.iso

虚拟机版本

VirtualBox 4.2.0 RC1

计划安装3个CentOS虚拟机,实现完整分布式模式。

h1,h2,h3 分别内存为512M,硬盘容量为20G。

  
虚拟机配置
新建虚拟机。

DSC0000.png
DSC0001.png
  内存预先设置为1G,安装完成后调整为512M。1G以上内存方可使用GUI安装。
DSC0002.png
  加载ISO光盘镜像。
  
DSC0003.png
网络方式使用 桥接网卡 最为简单。

具体介绍:http://www.douban.com/group/topic/15558388/

DSC0004.png
  配置完成后,直接启动该虚拟机。
DSC0005.png
  跳过光盘检测。
DSC0006.png
  下面是配置键盘与语言等选项,一路next下去,注意网络配置画面。
  
DSC0007.png
  分区配置。
DSC0008.png
  然后配置管理员密码等。
DSC0009.png
  完成安装,重新启动虚拟机。
DSC00010.png
  正常登录后,在shell命令中,输入uname –r,查看Linux版本内核。
  
DSC00011.png
  输入ifconfig eth0 查看是否正常获取IP地址,使用ping命令确认能否上网。
  
DSC00012.png
使用yum update -y命令将系统更新。(163下载的ISO自动在163的镜像上下载。)

时间较长!

DSC00013.png
使用yum install –y wget 将下载工具安装。

彻底关闭Linux中的Iptables。

命令行中:service iptables stop && chkconfig iptables off


DSC00014.png
一般linux中都已经开启了ssh功能。

下载随意windows下的ssh客户端,例如:Xshell、SecureCRT、PuTTY 、Xmanager等。

DSC00015.png
登录后,使用此命令下载JAVA JDK

[iyunv@h1 ~]# wget http://210.75.11.10/ jdk-7u7-linux-x64.rpm

DSC00016.png
[iyunv@h1 ~]# rpm -ivh jdk-7u7-linux-x64.rpm

安装JAVA JDK


DSC00017.png
配置系统环境变量。

[iyunv@h1 ~]# vi /etc/profile

添加

JAVA_HOME=/usr/java/jdk1.7.0_07

PATH=$PATH:$JAVA_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

export PATH JAVA_HOME CLASSPATH

DSC00018.png
  [iyunv@h1 ~]# java –version 测试是否成功。
DSC00019.png
  新增运行的hadoop用户,并配置密码。
  
DSC00020.png
  将grid 添加到管理员组。
  
DSC00021.png
接下来,关闭本虚拟机。

halt –p

  
复制虚拟机
复制h1

C:\Program Files\Oracle\VirtualBox>VBoxManage clonehd "D:\Linux\CentOS\h1.vdi" "D:\Linux\CentOS\h2.vdi"

0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%

Clone hard disk created in format 'VDI'. UUID: 74a09b9d-c4d8-4689-9186-87e34e4b5265

DSC00022.png
复制h3

C:\Program Files\Oracle\VirtualBox>VBoxManage clonehd "D:\Linux\CentOS\h1.vdi" "D:\Linux\CentOS\h3.vdi"

0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%

Clone hard disk created in format 'VDI'. UUID: 110c9759-c9c3-4867-9721-3633dfe02384

将虚拟机文件添加到VirtualBox内。命名分别为h1,h2,h3。


DSC00023.png
分别登录3台虚拟机内,将IP地址与hostname,hosts修改正确,使之能互相ping通。

192.168.3.230 h1

192.168.3.231 h2

192.168.3.232 h3

vi /etc/hosts

DSC00024.png
复制的h2 h3同样要做以下修改。

vi /etc/sysconfig/network

DSC00025.png
命令行中输入hostname=h2 立即生效。

修改IP地址。

vi /etc/sysconfig/network-scripts/ifcfg-eth0

DSC00026.png
直接修改配置文件IPADDR和 HWADDR(抄VBOX上的MAC地址)还不能使网卡变更。

最简单的解决办法是直接删除70-persistent-net.rules配置文件

rm -fr /etc/udev/rules.d/70-persistent-net.rules

reboot

重启系统就ok了,系统会自动生成一个新的。

  配置ssh互信
分别启动h1,h2,h3虚拟机,互相ping确认是否能通。

然后分别使用grid用户,正常登录每台机器执行生成密钥命令。

ssh-keygen –t rsa

DSC00027.png
  回到h1主机上,使用跨主机的管道和重定向将h2,h3主机上的公钥id_rsa.pub添加到h1上的authorized_keys文件中。
  
DSC00028.png
  分别将通过
ssh h2 cat ~/.ssh/id_rsa.pub && ssh h3 cat ~/.ssh/id_rsa.pub

添加到

authorized_keys

DSC00029.png
完成后,authorized_keys文件变成了三大段。

DSC00030.png
然后分别scp 复制到h2,h3机器中。

scp authorized_keys grid@h2:~/.ssh/

DSC00031.png
  验证成功。
DSC00032.png
SSH互信配置完成。

  
配置hadoop下载hadoop
回到h1虚拟机内,使用wget 命令下载hadoop 0.20。(如果没有安装wget可以yum install –y wget安装。)

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-0.20.2/hadoop-0.20.2.tar.gz

使用Xshell操作会简便很多,可以在windows与linux间复制。


DSC00033.png
DSC00034.png
  解压hadoop
[grid@h1 ~]$ tar zxvf hadoop-0.20.2.tar.gz

DSC00035.png
  分别修改core-site.xml、hdfs-site以及mapred-site.xml
DSC00036.png
DSC00037.png
:wq保存退出。

[grid@h1 conf]$ vi mapred-site.xml

DSC00038.png
:wq保存退出。

[grid@h1 conf]$ vi hdfs-site.xml

DSC00039.png
:wq保存退出。

  配置hadoop-env.sh文件
再次确认java jdk安装在/usr/java/jdk1.7.0_07目录下面。

[grid@h1 conf]$ vi hadoop-env.sh

DSC00040.png
:wq保存退出。

  修改masters和slaves文件
  
DSC00041.png
DSC00042.png
分别存盘退出。

  向各节点复制hadoop目录
[grid@h1 ~]$ scp -r hadoop-0.20.2 h2:~/

[grid@h1 ~]$ scp -r hadoop-0.20.2 h3:~/

DSC00043.png
  格式化分布式文件系统
DSC00044.png
格式化成功。

  启动守护进程
  
DSC00045.png
输入一次yes后,无需再输入。

  检测守护进程启动情况
[grid@h1 hadoop-0.20.2]$ /usr/java/jdk1.7.0_07/bin/jps

jps工具查看java进程。

DSC00046.png
  至此,hadoop完整分布式模式安装完成。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-56900-1-1.html 上篇帖子: Win7 + VirtualBox安装Mac OS X雪豹操作系统图文详解 下篇帖子: 「Linux」VirtualBox免鼠标点击,分配USB设备给虚拟机的办法
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表