设为首页 收藏本站
查看: 1243|回复: 0

[经验分享] 在 Windows 上安装 Hadoop 教程(转)

[复制链接]
发表于 2017-12-18 07:10:40 | 显示全部楼层 |阅读模式
  欢迎和大家交流技术相关问题:
  邮箱: jiangxinnju@163.com
  博客园地址: http://www.cnblogs.com/jiangxinnju
  GitHub地址: https://github.com/jiangxincode
  知乎地址: https://www.zhihu.com/people/jiangxinnju
  在 Windows 上安装 Hadoop 教程
  一见 2010.1.6 www.hadoopor.com/hadoopor@foxmail.com
1. 安装 JDK
  不建议只安装 JRE,而是建议直接安装 JDK,因为安装 JDK 时,可以同时安装 JRE。 MapReduce 程序的编写和 Hadoop 的编译都依赖于 JDK,光 JRE 是不够的。
  JRE 下载地址:http://www.java.com/zh_CN/download/manual.jsp
  JDK 下载地址:http://java.sun.com/javase/downloads/index.jsp,下载 Java SE 即可。
2. 安装 Cygwin
  在安装 Cygwin 之前,得先下载 Cygwin 安装程序 setup.exe。
  Cygwin 安 装 程 序 下 载 地 址 : http://www.cygwin.com/setup.exe , 当 然 也 可 以 从 http://www.cygwin.cn/setup.exe 下载 Cygwin 安装程序,不过如果在安装过程中,遇到如下图所示的错误,则只能从 http://www.cygwin.com/setup.exe 下载,本教程下载的是 Cygwin 1.7.1 版本。
DSC0000.jpg

  Cygwin 安装程序 setup.exe 的存放目录可随意无要求。当 setup.exe 下载成功后,运行
  setup.exe,弹出如下图所示的对话框:
DSC0001.jpg

  在上图所示的对话框中,直接点击“下一步”,进入如下图所示的对话框:
DSC0002.jpg

  在上图所示的对话框中,选择“Install from Internet”,然后点击“下一步”,进入如下图 所示对话框:
DSC0003.jpg

  在上图所示的对话框中,设置 Cygwin 的安装目录,Install For 选 择“All Users”,Default Text File Type 选择“Unix/binary”,然后点击“下一步”,进入如下图所示对话框:
DSC0004.jpg

  在上图所示的对话框中,设置 Cygwin 安装包存放目录,然后点击“下一步”,进入如 下图所示对话框:
DSC0005.jpg

  在上图所示的对话框中,选择“Direct Connection”,然后点击“下一步”,进入如下图 所示对话框:
DSC0006.jpg

  在上图所示的对话框中,点击“下一步”,将进入如下图所示的对话框:
DSC0007.jpg

  在上图所示的对话框过程中,可能会弹出如下图所示的“Setup Alert”对话框,直接点 击“确定”即可。
DSC0008.jpg

  进入“Select Packages”对话框后,必须保证“Net Category”下的“OpenSSL”被安装 , 如下图所示:
DSC0009.jpg

  如果还打算在 eclipse 上编译 Hadoop,则还必须安装“Base Category”下的“sed”,如 下图所示:
DSC00010.jpg

  另外,还建议将“Editors Category”下的 vim 安装,以方便在 Cygwin 上直接修改配置 文 件 ;“Devel Category”下的 subversion 建议安装,如下图所示:
DSC00011.jpg

  当完成上述操作后,点击“Select Packages”对话框中“下一步”,进入 Cygwin 安装包 下载过程,如下图所示:
DSC00012.jpg

  等待安装包下载完毕,当下载完后,会自动进入到如下图所示的对话框:
DSC00013.jpg

  在上图所示的对话框中,选中“Create icon on Desktop”,以方便直接从桌面上启动 Cygwin,然后点击“完成”按钮。至此,Cgywin 已经安装完,安装目录下的内容如下图所 示:
DSC00014.jpg

3. 配置环境变量
  需要配置的环境变量包括 PATH 和 JAVA_HOME:JAVA_HOME 指向 JRE 安 装 目 录 ;JDK 的 bin 目录,Cygwin 的 bin 目录,以及 Cygwin 的 usr\bin 目录都必须添加到 PATH 环境变量 中,如下图所示:
DSC00015.jpg

4. 安装 sshd 服务
  点击桌面上的 Cygwin 图标,启动 Cygwin,执行 ssh-host-config命令,如下图所示:
DSC00016.jpg

  在执行 ssh-host-config 时,当要求输入 yes/no 时,选择输入 no,如下图所示:
DSC00017.jpg

  如果是 Cygwin 1.7 之前的版本,则 ssh-host-config 显示界面如下图所示:
DSC00018.gif

  当看到“Have fun”时,一般表示 sshd 服务安装成功了,如上图所示。接下来,需要启 动 sshd 服务。
5. 启动 sshd 服务
  在桌面上的“我的电脑”图标上单击右键,点击“管理”菜单,进入 Windows 计算机 管理,如下图所示:
DSC00019.jpg

  在上图所示的对话框中,选中“CYGWINsshd”,弹出右键,并启动 CYGWIN sshd 服 务,成功后,如下图所示:
DSC00020.jpg

  当 CYGWIN sshd 的状态为“已启动”后,接下来就是配置 ssh 登录。
6. 配置 ssh 登录
  执行 ssh-keygen命令生成密钥文件,如下图所示:
DSC00021.gif

  在上图所示对话框中,需要输入时,直接按回车键即可,如果不出错,应当是需要三次 按回车键。接下来生成 authorized_keys文件,按下图所示操作即可:
DSC00022.gif

  正如上图所示,只需要两步操作,即可生成 authorized_keys文件:
  cd ~/..ssh/

  cp>  完成上述操作后,执行 exit命令先退出 Cygwin 窗口,如果不执行这一步操作,下面的 操作可能会遇到错误。接下来,重新运行 Cygwin,执行 ssh localhost 命令,在第一次执行 ssh localhost 时,会有如下图所示的提示,输入 yes,然后回车即可:
DSC00023.gif

  如果是 Windows 域用户,这步操作可能会遇到问题,错误信息如下:。
DSC00024.gif

  这 个 错 误 暂 无 解 决 办 法 , 问 题 的 解 决 情 况 , 可 关 注 Hadoop 技 术 论 坛 中 的 贴 : http://bbs.hadoopor.com/thread-348-1-1.html(Cygwin1.7.1 版本ssh问题)。否则,如果成功, 执行 who 命令时,可以看到如下图所示的信息:
DSC00025.gif

  至此,配置 ssh 登录成功,下面就可以开始安装 hadoop 了。
7. 下载 hadoop 安装包
  hadoop 安装包下载地址:
  http://labs.xiaonei.com/apache-mirror/hadoop/core/hadoop-0.20.1/hadoop-0.20.1.tar.gz
8. 安装 hadoop
  将 hadoop 安装包 hadoop-0.20.1.tar.gz 解压到 D:\hadoop\run 目 录( 以修改成其它目录) 下,如下图所示:
DSC00026.jpg

  接下来,需要修改 hadoop 的配置文件,它们位于 conf 子目录下,分别是 hadoop-env.sh、 core-site.xml、hdfs-site.xml 和 mapred-site.xml 共四个文件。在 Cygwin 环 境 ,masters 和 slaves 两个文件不需要修改。
Ÿ 修改 hadoop-env.sh
  只需要将 JAVA_HOME 修改成 JDK 的安装目录即可,请注意 JDK 必须是 1.6 或 以上 版本 。
Ÿ 修改 core-site.xml
  为简化 core-site.xml 配置,将 D:\hadoop\run\src\core 目录下的 core-default.xml 文件复制 到 D:\hadoop\run\conf 目 录 下 , 并 将 core-default.xml 文 件 名 改 成 core-site.xml 。 修 改 fs.default.name 的值,如下所示:
DSC00027.gif

  上图中的端口号 8888,可以改成其它未被占用的端口。
Ÿ 修改 hdfs-site.xml
  为简化 hdfs-site.xml 配置,将 D:\hadoop\run\src\hdfs 目录下的 hdfs-default.xml 文件复制 到 D:\hadoop\run\conf 目录下,并将 hdfs-default.xml 文件名改成 hdfs-site.xml。不需要再做其 它修改。
Ÿ 修改 mapred-site.xml
  为简化 mapred-site.xml 配置,将 D:\hadoop\run\src\mapred 目录下的 mapred-default.xml
  文件复制到 D:\hadoop\run\conf 目录下,并将 mapred-default.xml 文件名改成 mapred-site.xml。
DSC00028.gif

  上图中的端口号 9999,可以改成其它未被占用的端口。到这里,hadoop 宣告安装完毕, 可以开始体验 hadoop 了!
9. 启动 hadoop
  在 Cygwin 中,进入 hadoop 的 bin 目录,运行./start-all.sh 启动 hadoop,在启动成功之后 , 可以执行./hadoop fs -ls /命令,查看 hadoop 的根目录,如下图所示:
DSC00029.jpg

  如果运行 mapreduce,请参考其它文档,本教程的内容到此结束。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-425241-1-1.html 上篇帖子: Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解 下篇帖子: Kudu:支持快速分析的新型Hadoop存储系统
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表