在OS X中安装配置Hadoop 2.7.0
操作系统版本：OS X Yosemite 10.10.3Hadoop版本：2.7.0
从Apache官网下载Binary的tar.gz包并解压缩之后，可以将其放置在任意位置。
配置Hadoop相关的环境变量，在.bash_profile文件中加入内容（JavaHuan是我的用户名）：
export HADOOP_HOME=/Users/JavaHuan/Workspace/Apache/hadoop-2.7.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
注意其中bin和sbin两个路径的命令都要设置，然后使用source命令编译.bash_profile文件。
编辑HADOOP_HOME/etc/hadoop/hadoop-env.sh文件，在其中找到JAVA_HOME的定义并为其设置系统中的绝对路径。仅仅写上$JAVA_HOME是不行的。
编辑HADOOP_HOME/etc/hadoop/core-site.xml文件，在<configuration>节点中加入内容：
<property>
<name>hadoop.tmp.dir</name>
<value>/Users/JavaHuan/Workspace/Apache/hadoop-2.7.0/tmp/hadoop-${user.name}</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
编辑HADOOP_HOME/etc/hadoop/hdfs-site.xml文件，在<configuration>节点中加入内容：
<property>
<name>dfs.repliacation</name>
<value>1</value>
</property>
编辑HADOOP_HOME/etc/hadoop/yarn-site.xml文件，在<configuration>节点中加入内容：
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
编辑HADOOP_HOME/etc/hadoop/mapred-site.xml文件，在<configuration>节点中加入内容：
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
在运行后台服务之前，需要对HDFS的NameNode进行格式化，命令：
hdfs namenode -format
开启后台服务：
start-dfs.sh
start-yarn.sh
关闭后台服务：
stop-yarn.sh
stop-dfs.sh
可以通过http://localhost:50070/来监视运行状态。
备注：
如果仔细观察终端的输出信息，可以发现在使用start-dfs.sh命令启动的时候，会提示一个WARN警告信息，是关于Native Library的。至于Hadoop中的本地库的作用以及如何设置，我目前尚未掌握。但我在博文《Hadoop的Native Library警告》中进行了该警告的简要描述，并在另一篇博文《重新编译Hadoop源码》中提供了解决方案。
版权声明：本文为博主原创文章，未经博主允许不得转载。
页:
[1]