在OS X中安装配置Hadoop 2.7.0
操作系统版本:OS X Yosemite 10.10.3Hadoop版本:2.7.0
从Apache官网下载Binary的tar.gz包并解压缩之后,可以将其放置在任意位置。
配置Hadoop相关的环境变量,在.bash_profile文件中加入内容(JavaHuan是我的用户名):
export HADOOP_HOME=/Users/JavaHuan/Workspace/Apache/hadoop-2.7.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
注意其中bin和sbin两个路径的命令都要设置,然后使用source命令编译.bash_profile文件。
编辑HADOOP_HOME/etc/hadoop/hadoop-env.sh文件,在其中找到JAVA_HOME的定义并为其设置系统中的绝对路径。仅仅写上$JAVA_HOME是不行的。
编辑HADOOP_HOME/etc/hadoop/core-site.xml文件,在<configuration>节点中加入内容:
<property>
<name>hadoop.tmp.dir</name>
<value>/Users/JavaHuan/Workspace/Apache/hadoop-2.7.0/tmp/hadoop-${user.name}</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
编辑HADOOP_HOME/etc/hadoop/hdfs-site.xml文件,在<configuration>节点中加入内容:
<property>
<name>dfs.repliacation</name>
<value>1</value>
</property>
编辑HADOOP_HOME/etc/hadoop/yarn-site.xml文件,在<configuration>节点中加入内容:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
编辑HADOOP_HOME/etc/hadoop/mapred-site.xml文件,在<configuration>节点中加入内容:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
在运行后台服务之前,需要对HDFS的NameNode进行格式化,命令:
hdfs namenode -format
开启后台服务:
start-dfs.sh
start-yarn.sh
关闭后台服务:
stop-yarn.sh
stop-dfs.sh
可以通过http://localhost:50070/来监视运行状态。
备注:
如果仔细观察终端的输出信息,可以发现在使用start-dfs.sh命令启动的时候,会提示一个WARN警告信息,是关于Native Library的。至于Hadoop中的本地库的作用以及如何设置,我目前尚未掌握。但我在博文《Hadoop的Native Library警告》中进行了该警告的简要描述,并在另一篇博文《重新编译Hadoop源码》中提供了解决方案。
版权声明:本文为博主原创文章,未经博主允许不得转载。
页:
[1]