Hadoop部署详细说明——单机部署

xiaui520

　　我们在之前的文章中已经说明了怎样进行ssh免密钥登录，现在详细的来说一下Hadoop的详细部署。
　　一、硬件、软件准备
　　三台PC机，Ubuntu10.04，Java环境
　　
　　二、安装过程
　　安装ssh、设置免密码登录



$ sudo apt-get install ssh
$ sudo apt-get install rsync
　　这个之前我们已经说过如何使用ssh免密码登录，这样，我们才能使用Hadoop脚本管理远端Hadoop远端的守护进程。
　　安装Hadoop
　　hadoop包含三个部分：
　　Hadoop Common，HDFS，Hadoop MapReduce
　　（1）下载Hadoop稳定的发行版本。下载地址http://hadoop.apache.org/common/releases.html
　　（2）配置Hadoop环境变量



sudo vim /etc/profile
　　在profile最后添加的内容



HADOOP_HOME=/home/blueline/hadoop-0.20.0
export HADOOP_HOME
export HADOOP=$HADOOP_HOME/bin
export PATH=$HADOOP:$PATH
　　（3）修改hadoop配置文件
hadoop配置文件，在hadoop的conf文件夹中，hadoop的所有配置文件都在里面，这里主要关注以下几个配置文件
　　hadoop-env.sh
　　根据提示添加JAVA环境变量JAVA_HOME



# The java implementation to user. Required.
export JAVA_HOME=/usr/lib/jvm/java/jdk1.6.0_23
　　
　　Hadoop单机部署有两种模式：本地模式，伪分布式模式
　　本地模式
　　 默认情况下，Hadoop被配置成以非分布式模式运行的一个独立Java进程。这对调试非常有帮助。
下面的实例将已解压的 conf 目录拷贝作为输入，查找并显示匹配给定正则表达式的条目。输出写入到指定的output
　　在用户目录下创建一个工作路径test，在~/test目录下建立输入目录input



$ mkdir input
$ cp ~/hadoop-0.20.2/conf/*.xml input
　　执行下面的查找



$ egrep dfs[a-z.]+ input/*
　　输出如下：



input/hadoop-policy.xml:    dfsadmin and mradmin commands to refresh the security policy in-effect.
　　
运行hadoop命令：



hadoop jar ~/hadoop-0.20.2/hadoop-0.20.2-examples.jar grep input output
　　这个过程我们会看到整个过程产生了一些输出日志，这些日志体现了基本的MapReduce的过程，我们看到了JobClient，MapTask的一些输出日志等等
　　打开输出结果



$ cat output/*
　　结果：



1       dfsadmin
　　
伪分布式模式
　　Hadoop可以在单节点上以所谓的伪分布式模式运行，此时每一个Hadoop守护进程都作为一个独立的Java进程运行。
　　继续配置配置文件
　　core-site.xml
　　添加如下配置




　　　　
    　　　　fs.default.name
    　　　　hdfs://localhost:9000
  　　  

　　
hdfs-site.xml
　　添加如下配置




        
                dfs.name.dir
                /home/lighttpd/hadoopfs/name
        
        
                dfs.data.dir
                /home/lighttpd/hadoopfs/data
        
        
                dfs.replication
                1
        

　　
　　mapred-site.xml




        
                mapred.job.tracker
                localhost:9001
        

　　
实现SSH免密码登录
　　具体怎么做看之前的博文有提到
　　
　　启动伪分布式hadoop
　　（1）格式化一个新的文件系统，挂载在~/test下



hadoop namenode -format

　　
　　（2）因为我们把hadoop的已经配置到环境变量中了，所以我们可以在任何目录下执行hadoop的start-all.sh，启动hadoop守护进程



start-all.sh

　　这时候可以用jps命令查看Hadoop守护进程，我们可以分别看到如图的5个守护进程

　　
　　同时我们可以浏览一下NameNode和JobTracker的Web接口，分别是



NameNode--   http://localhost:50070
JobTracker--   http://localhost:50030
　　如下图所示：

　　

　　
我们还使用之前单机部署的那个范例，将hadoop的conf复制到本地文件系统中



hadoop fs -put ~/hadoop-0.20.2/conf input
　　运行示例程序wordcount
　　



bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output
　　然后，从分布式文件系统中吧output拷贝出来
　　



hadoop fs -get output ~/output
　　在本地文件系统可以查看output中的内容
　　/_logs/history/*
　　如图：
　　

　　

　　同样，我们也可以在分布式文件系统中查看我们的输出文件



hadoop fs -cat output/_logs/history/*
　　完成全部操作之后，执行
　　



stop-all.sh
　　这时候，我们可以说，hadoop的单机部署的两种不同模式我们都已经成功搭建了，之后我们来尝试一下hadoop完全分布式的搭建