设为首页 收藏本站
查看: 1885|回复: 0

[经验分享] Hadoop单机模式的安装方法(实验楼版)

[复制链接]

尚未签到

发表于 2017-12-18 07:36:58 | 显示全部楼层 |阅读模式
一、实验环境说明

1. 环境登录
  无需密码自动登录,系统用户名shiyanlou,密码shiyanlou

2. 环境介绍
  本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到桌面上的程序:


  • XfceTerminal: Linux命令行终端,打开后会进入Bash环境,可以使用Linux命令
  • Firefox:浏览器,可以用在需要前端界面的课程里,只需要打开环境里写的HTML/JS页面即可
  • GVim:非常好用的编辑器,最简单的用法可以参考课程Vim编辑器
3. 环境使用
  使用GVim编辑器输入实验所需的代码,然后使用XfceTerminal命令行环境进行编译运行,查看运行结果,运行后可以截图并分享自己的实验成果,实验楼提供的截图是后台截图,无法作弊,可以真实有效证明您已经完成了实验。
  实验记录页面可以在“我的课程”中查看,其中含有每次实验的截图及笔记,以及每次实验的有效学习时间(指的是在实验桌面内操作的时间,如果没有操作,系统会记录为发呆时间)。这些都是您学习的真实性证明。

4. 参考文档
  本实验参考下列文档内容制作:


  • http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html
  • http://www.cnblogs.com/kinglau/p/3794433.html
二、Hadoop启动模式
  Hadoop集群有三种启动模式:


  • 单机模式:默认情况下运行为一个单独机器上的独立Java进程,主要用于调试环境
  • 伪分布模式:在单个机器上模拟成分布式多节点环境,每一个Hadoop守护进程都作为一个独立的Java进程运行
  • 完全分布式模式:真实的生产环境,搭建在完全分布式的集群环境
三、用户及用户组
  需要先添加用来运行Hadoop进程的用户组hadoop及用户hadoop。

1. 添加用户及用户组
  创建用户hadoop
  

$ sudo adduser hadoop  

  

  需要输入shiyanlou的密码:shiyanlou。并按照提示输入hadoop用户的密码。

2. 添加sudo权限
  将hadoop用户添加进sudo用户组
  

$ sudo usermod -G sudo hadoop  

  

四、安装及配置依赖的软件包

1. 安装openssh-server、java、rsync等
  

$ sudo apt-get update  
$ sudo apt-get install openssh-server rsync
  
$ sudo service ssh restart
  
$ sudo apt-get install openjdk-7-jdk
  
$ java -version
  

  

2. 配置ssh免密码登录
  切换到hadoop用户,需要输入添加hadoop用户时配置的密码。后续步骤都将在hadoop用户的环境中执行。
  

$ su -l hadoop  

  

  配置ssh环境免密码登录。
  

$ ssh-keygen -t rsa -P ""  

  

  在/home/hadoop/.ssh目录下生成了id_rsa(私钥)和id_rsa.pub(公钥)两个文件,将公钥追加到authorized_keys中,该文件保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。
  

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  

  

  验证登录本机是否还需要密码,配置正确的话是可以不需密码登录的。
  

$ ssh localhost  

  

五、下载并安装Hadoop
  在hadoop用户登录的环境中进行下列操作:

1. 下载Hadoop 2.6.0
  

$ wget http://labfile.oss.aliyuncs.com/hadoop-2.6.0.tar.gz  

  

2. 解压并安装
  

$ tar zxvf hadoop-2.6.0.tar.gz  
$ sudo mv hadoop-2.6.0 /usr/local/hadoop
  
$ sudo chmod 774 /usr/local/hadoop
  

  

3. 配置Hadoop
  

$ vim /home/hadoop/.bashrc  

  

  在/home/hadoop/.bashrc文件末尾添加下列内容:
  

#HADOOP START  
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
  
export HADOOP_INSTALL=/usr/local/hadoop
  
export PATH=$PATH:$HADOOP_INSTALL/bin
  
export PATH=$PATH:$HADOOP_INSTALL/sbin
  
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
  
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
  
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
  
export YARN_HOME=$HADOOP_INSTALL
  
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
  
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
  
#HADOOP END
  

  

  保存退出后,激活新加的环境变量
  

$ source ~/.bashrc  

  

  至此,Hadoop单机模式安装完成,可以通过下述步骤的测试来验证安装是否成功。

六、测试验证
  创建输入的数据,暂时采用/etc/protocols文件作为测试
  

$ cd /usr/local/hadoop  
$ sudo mkdir input
  
$ sudo cp /etc/protocols ./input
  

  

  执行Hadoop WordCount应用(词频统计)
  

$ bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount input output  

  

  查看生成的单词统计数据
  

$ cat output/*  

  

  注意:如果要继续下一节“伪分布式部署”实验,请勿停止本实验环境,直接点击文档上方的“下一个实验”按钮进入,因为伪分布式部署模式需要在单机模式基础上进行配置。
  最后一步:点击屏幕上方的“实验截图”将上述命令执行后的截图保存并分享给朋友们吧,这是你学习Hadoop安装的证明。

七、小结
  本实验中介绍了Hadoop单机模式的安装方法,并运行wordcount进行基本测试。

八、思考题
  请使用hadoop的wordcount对日志文件/var/log/dpkg.log进行词频统计。
  实验中有任何问题欢迎到实验楼问答提问。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-425255-1-1.html 上篇帖子: Hadoop eclipse插件使用过程中出现的问题 下篇帖子: 构建高可靠hadoop集群之2-机栈
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表