超详细解说Hadoop伪分布式搭建

dew

单节点伪分布式Hadoop配置

 

（声明：文档里面需要用户输入的均已斜体表示）

 

第一步：安装JDK

           因为Hadoop运行必须安装JDK环境，因此在安装好Linux后进入系统的第一步便是安装JDK，安装过程和在Windows环境中的安装步骤很类似，首先去Oracle官网去下载安装包，然后直接进行解压。我自己解压在路径/usr/jvm下面，假如你的安装包现在已经下载在jvm文件夹下面，然后按Ctrl+Alt+t进去命令行，然后输入

cd  /usr/jvm

进入到jvm文件夹下面，然后再输入如下命令进行解压：

sudo tar  -zxvf  jdk-7u40-linux-i586.tar.gz

 

第二步：配置环境变量

        解压结束以后，像在Windows系统中一样，需要配置环境变量，在Ubuntu中设置环境变量的过程为打开文件/etc/profile，因为权限的问题，因此在命令行需要输入的是
 

sudo gedit /etc/profile

 
然后在根据提示输入用户密码即可，然后在文件最下面添加如下：
 

export JAVA_HOME=/usr/jvm/jdk1.7.0_40

 

export CLASSPATH=".:$JAVA_HOME/lib:$JAVA_HOME/jre/lib$CLASSPATH"

 

export PATH="$JAVA_HOME/bin:$JAVA_HOME/jre/bin:/usr/hadoop/hadoop-1.2.1/bin:$PATH"

 
上面这三个以单词export开始的三个语句就类似于我们在Windows中的环境变量中设置一样，而且在这个里面和Windows中不同的是，在Windows中使用“；”号来表示分隔，但是在Ubuntu中是以“：”号来表示分隔。还需要注意的是，上面的路径都是我自己配置的时候的路径，因为我的JDK解压在/usr/jvm中，所以我的JAVA_HOME设置的是那个路径，而且如果安装的JDK版本不同那么后面的也不一样。同理在CLASSPATH路径中也是因为我自己的安装路径进行设置的，因此在配置过程中需要读者注意。在PATH路径中最后面还将Hadoop的路径也添加了进去，因此在读者安装了Hadoop后也将这个路径添加进环境变量PATH中去。
        在配置完环境变量后，我们来将我们安装的JDK设置为Ubuntu系统默认的JDK，因为之前系统里面自带openjdk，在命令行里面输入如下：
 
sudo update-alternatives  --install  /usr/bin/java  java  /usr/jvm/jdk1.7.0_40/bin/java 300
sudo update-alternatives  --install  /usr/bin/javac  javac  /usr/jvm/jdk1.7.0_40/bin/javac 300
sudo update-alternatives  --config  java
 

然后我们就可以在命令行输入java -version来进行察看JDK是否已经配置好了。

 

第三步：安装Hadoop 

        我们可以去Hadoop官网上去下载安装包，我自己下载使用的是hadoop-1.2.1.tar.gz，然后当安装包下载结束后，将安装包解压到指定位置，我将安装包解压到了/usr/hadoop目录下面。
具体步骤是，像解压JDK一样，首先加入下载的Hadoop安装包在/usr/hadoop文件夹下面。然后在命令行下进入/usr/hadoop文件，类似于上面的。然后输入解压命令如下
 

sudo  tar  -zxvf  hadoop-1.2.1.tar.gz 

 

        后面的Hadoop安装包名称具体看你下载的版本，我下载的是1.2.1版本的。为了以后操作/usr/hadoop文件夹里面的文件方便，我们设置一下文件夹的权限，在命令行输入如下

 

sudo  chown  -hR  long  /usr/hadoop

 

注意：在上面的命令中，long是我自己此时登陆的用户名，因此你需要将那个改成你自己的用户名。

 

第四步：配置Hadoop环境变量

        在上面解压完Hadoop以后，现在我们来设置环境变量，其实在上面刚才我们配置JDK环境变量的时候，已经在PATH路径后面添加了Hadoop安装目录的bin目录的路径，所以那个就代表环境变量已经设置好了，但是读者一定要注意，不要Copy，要明确自己的Hadoop安装路径来进行配置。

 

第五步：设置SSH（安全外壳协议）

         推荐安装OpenSSH，Hadoop需要通过SSH来启动Slave列表中各台主机的守护进程，因此SSH是必需安装的。虽然我们现在搭建的是一个伪分布式的平台，但是Hadoop没有区分开集群式和伪分布式，对于伪分布式，Hadoop会采用与集群相同的处理方式，即按次序启动文件conf/slaves中记载的主机进程，只不过在伪分布式中Salve为localhost而已，所以对于伪分布式，SSH是必须的。

       配置过程（首先确保连接上网络）：

①　安装SSH，在命令行输入如下

sudo  apt-get install openssh-server

 

②　配置可以免密码登陆本机

        在命令行输入（注意其中的ssh前面还有一个“.”不要遗漏）

 

ssh-keygen  -t  dsa -P '' -f  ~/.ssh/id_dsa 

 

（解释一下上面这条命令，ssh-keygen 代表生成密钥；-t 表示指定生成的密钥类型；dsa 是dsa密钥认证的意思；-P 用于提供密语（接着后面是两个单引号，不要打错）；-f 表示指定生成密钥文件）

 

这条命令完成后，会在当前文件夹下面的.ssh文件夹下创建id_dsa和id_dsa.pub两个文件，这是SSH的一对私钥和公钥，把id_dsa.pub（公钥）追加到授权的key中去，输入如下命令：

 

cat  ~/.ssh/id_dsa.pub  >>  ~/.ssh/authorized_keys

 

至此，免密码登陆本机已经配置完毕。

说明：一般来说，安装SSH时会自动在当前用户下创建.ssh这个隐藏文件夹，一般不会直接看到，除非安装好了以后，在命令行使用命令ls才会看到。

 

 

③　输入ssh  localhost，显示登陆成功信息。

 

 

 

第六步：配置Hadoop伪分布式模式

现在进入到安装Hadoop的文件夹，找到里面的conf文件夹，点击进去。

• 
  配置hadoop环境文件hadoop-env.sh
  

　　        打开文件，找到某行有”# export JAVA_HOME = ...” 字样的地方，去掉“#”，然后在等号后面填写你自己的JDK路径，比如像我自己的JDK路径，那就改为了如下所示

“export  JAVA_HOME=/usr/jvm/jdk1.7.0_40”

 

• 
   配置Hadoop的核心文件core-site.xml
  

打开文件，会发现标签<configuration></configuration>中是空的，在空的地方添加如下配置

 

     <property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/long/tmp</value>
</property>

 

 

（注意：在最后一个value值中，上面是long，是因为那是我的用户名，所以你需要将那个修改为你自己的用户名）

 

• 
    配置Hadoop中MapReduce的配置文件mapred-site.xml
  

打开文件，会发现标签<configuration></configuration>中是空的，在空的地方添加如下配置

 

<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>

 

 

　　 

第七步：格式化Hadoop文件系统HDFS并启动Hadoop

        首次运行hadoop必须进行格式化Hadoop文件系统，以后运行即可跳过。打开命令行，进入安装了Hadoop的文件路径下，然后在命令行输入

 

bin/hadoop  namenode -format

 

格式化文件系统，然后启动Hadoop，在命令行里面输入

 

bin/start-all.sh

 

验证是否正常启动，在命令行里面输入jps，然后回车，如果在命令行里面出现如下类似画面（因为前面的数字可以不同）

 

3235 NameNode

 

4113 Jps

 

3819 JobTracker

 

4059 TaskTracker

 

3721 SecondaryNameNode

 

3487 DataNode

 

 

则说明已经正常启动。如果以后需要关闭Hadoop的话，在Hadoop安装的文件夹路径下面在命令行输入

 

bin/stop-all.sh

 

来关闭Hadoop。

 

第八步：跑一个Hadoop中自带的WordCount程序，来体验一把

                   步骤如下（我在自己平台上的，读者可仿照实验）：

                1) 准备一个文本文件

          首先我在桌面，新建了一个空白文档test，在里面输入一段话，或是几一些什么单词什么的，保存。

 

                 2) 将文本文件上传到dfs文件系统中的input目录下，打开命令行，进入到安装hadoop的文件夹下，然后输入如下

 

bin/hadoop  dfs  -copyFromLocal  /home/long/桌面/test  input

 

   （注：如果dfs中不包含input目录的话就会自动创建一个）

 

                 3) 然后在命令行中输入如下命令，执行WordCount程序

 

                 bin/hadoop  jar  hadoop-examples-1.2.1.jar  wordcount  input  output

 

（注：因为这个程序是Hadoop安装包里面自带的，就在hadoop-examples-1.2.1.jar中，后面的数字因为版本号的不同而不同，后面的input代表输入文件夹，output代表输出文件夹，系统输出时会自动创建）

读者如果这个执行成功了，就会发现有很多输出信息，从屏幕上显示，当程序运行结束后。

 

                   4) 察看结果在命令行里面输入

 

bin/hadoop  dfs  -cat  output/part-r-00000

 

 现在你就可以看见自己刚才输入文本里面的单词计数了。

 

 

 

 

至此，伪分布式搭建结束!