mac osx下安装hadoop 2.5.0伪分布式

falldog

本文主要介绍了在mac osx下安装hadoop 2.5.0的步骤：
一、OSX 版本信息如下：




二、安装JAVA
1.安装JAVA（此处不再叙述，其他有很多）
2.运行命令 :java -version


 
三、hadoop 2.5.0 版本下载:
http://mirror.bit.edu.cn/apache/hadoop/common/
 
四、下载完之后解压到对应目录：/Users/${你的登录账户名}/hadoop/hadoop-2.5.0
执行命令：
1.cd /Users/${你的登录账户名}/hadoop/hadoop-2.5.0/
2.bin/hadoop version
会出现如下提示信息：     


 
五、单节点伪集群部署时需要本机ssh连通
1. 执行命令：ssh localhost
会有错误提示信息，表示当前用户没有权限。这是系统为安全考虑，默认设置的。更改设置如下：进入system preference --> sharing --> 勾选remote login，并设置allow access for all users。再次输入“ssh localhost"，再输入密码并确认之后，可以看到ssh成功。中文版如下图：系统偏好设置->共享->远程登录


 不过这里面还有一个麻烦，就是每次都会要求输入用户密码，那么就实现免登陆的配置
2.执行命令：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
3.执行命令：cat .ssh/id_rsa.pub >>.ssh/authorized_keys
4.再执行命令：ssh localhost
出现类似如下信息则免登陆设置成功。



六、配置hadoop关键文件
以下的配置文件均在/Users/${你的登录账户名}/hadoop/hadoop-2.5.0/etc/hadoop/目录下
1、配置hadoop-env.sh文件
添加如下内容（注意java_home的路径）：

export JAVA_HOME=/Library/Java/Home

export HADOOP_HEAPSIZE=2000

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"
保存退出
2、配置 core-site.xml文件
在<configuration>标签内添加如下内容：

<property>

        <name>fs.default.name</name>

        <value>hdfs://localhost:9000</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/Users/${你的登录账户名}/hadoop/hadoop-2.5.0/tmp</value>

        <description>A base for other temporary directories.</description>

</property>
 
保存退出
 
3、配置hdfs-site.xml文件
在<configuration>标签内添加如下内容：

<property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/Users/${你的登录账户名}/hadoop/hadoop-2.5.0/hdfs/namenode</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/Users/${你的登录账户名}/hadoop/hadoop-2.5.0/hdfs/datanode</value>

    </property>
4、配置mapred-site.xml文件，这个文件没有的，可以复制mapred-site.xml.template改名得到
在<configuration>标签内添加如下内容：

<property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

  </property>
5、配置yarn-site.xml文件
在<configuration>标签内添加如下内容：

 

<!-- Site specific YARN configuration properties -->

<property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

 

    <property>

        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

        <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    </property>

<property>

        <name>yarn.nodemanager.resource.memory-mb</name>

        <value>40960</value>

    </property>

 
至此hadoop的基本配置完成，可执行下一步了。
七、初始化
执行以下命令
cd /Users/${你的登录账户名}/hadoop/hadoop-2.5.0
bin/hadoop namenode –format
 
八、启动Hadoop
之前的Hadoop版本中，可以使用start-all.sh启动Hadoop，现在这种做法已经不赞同使用了。
依次启动HDFS和YARN，每次启动之后可以运行jps观察已经启动的服务：
cd /Users/${你的登录账户名}/hadoop/hadoop-2.5.0/sbin/
依次执行下列命令
sh ./start-dfs.sh
sh ./start-yarn.sh
 
hadoop配置完成。
 
 
访问http://localhost:50070/ 和http://localhost:8088/cluster可以查看是否配置成功。
 
2.5版本的命令是：bin/hdfs hdfs  *******
 
完成！
感谢：http://dectinc.cc/2014/03/21/hadoop-installation-and-configuration/