设为首页 收藏本站
查看: 1489|回复: 0

[经验分享] Hadoop-安装过程-单虚拟机版(Ubuntu13.04版本下安装)

[复制链接]
累计签到:1 天
连续签到:1 天
发表于 2014-4-20 09:56:44 | 显示全部楼层 |阅读模式
本帖最后由 r4r444 于 2014-4-20 09:59 编辑

由于新装的Ubutu默认情况下,系统只安装了SSH客户端,需要自行安装SSH服务端
如何确定是否安装了SSH服务端?
可以通过命令ssh localhost,结果如下,即未安装SSH服务端:
200317063225300.png

安装SSH服务端:
sudo apt-get install openssh-server


在安装时,没有设置root密码,所以必须在安装完成进行设置后才能进入root用户
命令如下:
$ sudo passwd root
输入你希望的root用户的密码



1、关闭防火墙
200317073071601.png
不管你在安装linux时是否启动了防火墙,如果你想配置属于自己的防火墙,那就清除现在filter的所有规则.
[iyunv@tp ~]# iptables -F        清除预设表filter中的所有规则链的规则
[iyunv@tp ~]# iptables -X        清除预设表filter中使用者自定链中的规则

200317075102072.png




2、普通用户下添加grid用户
200317089321071.png

将grid添加到sudo:



200317098383927.png




以下这段应该没什么作用,可以不用理会,如果遇到问题再回来设置


Linux 通过 命令行 增加用户 ,
(1) 打开终端 输入 sudo -r useradd 用户名 /* -r 参数建立系统用户
(2) 输入 sudo useradd -g root 用户名 /*这一行的命令是让你的刚刚建立的 用户 划分到 root 权限组下
(3)sudo passwd 用户名 /*设置你刚刚建立的密码
删除:
终端方法:以下用newuser代替想要删除的用户账户
在root用户下:userdel -r newuser
在普通用户下:sudo userdel -r newuser
因为你需要彻底删除用户,所以加上-r的选项,在删除用户的同时一起把这个用户的宿主目录和邮件目录删除。

来源: <http://www.iyunv.com/Linux/2012-06/62985.htm>




3、将通过mv命令将安装包移动到grid用户下
200317102608098.png



200317104638569.png





4、配置JDK环境变量:
设置全局环境变量:
命令:sudo gedit /etc/profile
在文件末尾添加下面内容:(注意没有空格)

export JAVA_HOME=/usr/jdk
export JRE_HOME=/usr/jdk/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH


重启JDK环境变量配置生效

配置默认JDK版本由于ubuntu中可能会有默认的JDK,如openjdk,所以,为了将我们安装的JDK设置为默认JDK版本,还要进行如下工作。
执行代码:
sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/java-7-sun/bin/java 300  
sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java-7-sun/bin/javac 300  
sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/java-7-sun/bin/jar 300   
sudo update-alternatives --install /usr/bin/javah javah /usr/lib/jvm/java-7-sun/bin/javah 300   
sudo update-alternatives --install /usr/bin/javap javap /usr/lib/jvm/java-7-sun/bin/javap 300   

执行代码:
sudo update-alternatives --config java  

系统会列出各种JDK版本,如下所示:
liujl@liujl:~$ sudo update-alternatives --config java  
有 3 个候选项可用于替换 java (提供 /usr/bin/java)。  


  选择       路径                                    优先级  状态  
------------------------------------------------------------  
* 0            /usr/lib/jvm/java-6-openjdk/jre/bin/java   1061      自动模式  
  1            /usr/lib/jvm/java-6-openjdk/jre/bin/java   1061      手动模式  
  2            /usr/lib/jvm/java-6-sun/jre/bin/java       63        手动模式  
  3            /usr/lib/jvm/java-7-sun/bin/java           300       手动模式  


要维持当前值请按回车键,或者键入选择的编号:3  
update-alternatives: 使用 /usr/lib/jvm/java-7-sun/bin/java 来提供 /usr/bin/java (java),于 手动模式 中。  
如果提示:There is only one alternative in link group java (providing /usr/bin/java): /usr/lib/jvm/java-7-sun/bin/java

说明只有一种你自己安装的JDK版本。



测试
liujl@liujl:~$ java -version  java version "1.7.0_45"
Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)
来源: <http://blog.iyunv.com/richerg85/article/details/13160185>


SSH免密码登录
退出root,进入grid :su grid
生成密钥:ssh-keygen -t rsa


200317119006096.png

200317121977539.png
生成密钥:
200317125889953.png




安装和配置Hadoop:

1、解压hadoop安装包:tar -xzvf hadoop-1.2.1-bin.tar.gz

2、进入hadoop
200317139479737.png



3、进入conf目录
200317143383152.png



修改hadoop-env.sh,
200317145576852.png

将JAVA_HONG改为JDK安装目录,注意将#去掉:
200317159329865.png



修改core-site.xml,
200317161508864.png

设置namenode节点:
200317164634536.png



修改hdfs-site.xml:
200317166828236.png

200317169161465.png



修改mapred-site.xml:
200317174786891.png

200317177758334.png




所有的节点都修改/etc/hosts,使彼此之间都能把主机名解析为IP,需转到root用户下修改。(伪分布式不需要修改此文件)
200317191036362.png




修改masters和slaves文件,如果里面已经存在内容则不需要修改
200317193696048.png




格式化分布式文件系统:
200317218859846.png




启动守护进程
200317226031760.png




检查守护进程启动情况:
200317238532044.png






验证安装是否成功:
打开浏览器,分别输入以下网址:
http://localhost:50030(MapReduce的Web页面)
200317247134616.png


http://localhost:50070(HDFS的Web页面) 200317265251328.png







到此,恭喜安装成功了!!!





运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-17879-1-1.html 上篇帖子: 基于hadoop搭建hbase的心得 下篇帖子: Hadoop 2.X 集群安装 虚拟机
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表