Hadoop单机模式配置

tythg

本作品由Man_华创作，采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。
基于http://www.iyunv.com/manhua/上的作品创作。　　
　　默认情况下，Hadoop被配置成以非分布式模式运行的一个独立Java进程。这对调试非常有帮助。
　　(只有一个JVM进程，没有分布式，不使用HDFS)
　　

环境：
　　Java 查看安装教程
　　Ubuntu13.10(32位/64位均可) 下载
　　hadoop-2.2.0.tar.gz 更新发布下载

安装：
　　在用户主目录新建文件夹hadoop，Hadoop将安装在该目录~/hadoop
　　

Hadoop安装
　　释放文件并软连接（方便用户以后版本更新)



cd ~/setupEnv
sudo tar zxvf hadoop-2.2.0.tar.gz -C ~/hadoop
sudo ln -s ~/hadoop/hadoop-2.2.0 ~/hadoop/hadoop
　　修改系统环境变量



sudo gedit /etc/profile
　　在末尾添加以下内容 ：



#hadoop
export HADOOP_HOME=~/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
　　 将配置文件启用：



source /etc/profile
　　测试



hadoop version
　　配置hadoop-env.sh



cd ~/hadoop/hadoop/etc/hadoop
sudo gedit hadoop-env.sh  

　　把JAVA_HOME指定为：export JAVA_HOME=/usr/local/java/jdk1.7.0_45
　　

运行测试 (注：Hadoop刚完成安装不修改配置文件即为单机模式)
　　测试一：wordcount
　　在主文件下新建hadoopTest文件夹，创建in子文件夹，创建任意文本文档内容



cd ~/hadoop/hadoop/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount ~/hadoopTest/in ~/hadoopTest/out
　　查看结果



cat ~/hadoopTest/out/part-r-00000
　　

　　hadoop单机运行可以不打包成jar： hadoop 主类名 [输入输出目录等参数]
相比用java运行，使用hadoop命令会自动添加hadoop库文件到classpath
　　[注意]要实现不打包运行，需要修改环境变量



sudo gedit /etc/profile


export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:.
　　
　　输出命名方式：
map输出：part-m-nnnnn
reduce输出：part-r-nnnnn
其中nnnnn为分块序号，从0开始。
分布式下Map的输出是在硬盘上而不是hdfs，因为它作为中间结果是临时的，一旦写入hdfs就会分布式存储并备份。
　　

　　
　　example中的样例程序说明