在CentOS上安装Hadoop集群

wsxdc

Hadoop是Apache组织的一个顶级项目，它是一个分布式系统架构。Hadoop实现了一个分布式文件系统（HDFS），易于部署在低廉的硬件设备上，并且极易扩充。Hadoop的核心是HDFS和MapReduce。本篇文章主要介绍如何安装Hadoop集群，伪分布模式的安装应该是简单的，因此这里旨在在3台互通的centOS平台上安装完全分布模式的Hadoop集群。

准备工作：3台装有centOS的机器（可以使用虚拟机模拟）

Hadoop版本：0.20.2 （这里使用的是低版本，很小，高版本的安装是基本相似的）

1.修改所有节点的 /etc/hosts 文件，使彼此之间都能把主机名解析为IP，如下：

这里使用了3台设备，其中准备用myseu作为master，myseu2和myseu3作为slave

2.三台设备建立统一的Hadoop用户，即用户名均为同样的名字，这里均使用 well 作为用户名

#useradd well

   注意，创建用户后需要设置密码后才能登陆该用户，使用如下命令

#passwd well

3.配置SSH免密码登录

  CentOS默认情况下是安装有SSH服务的，因此避免了SSH的安装步骤。这里直接介绍如何进行设置免密码登录。

生成密钥并配置SSH无密码登录本机，在终端依次输入如下两条命令：

• ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa   
• cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys   
  

注意，三台机器都需要配置免密码登录，并将生成的 authorized_keys文件互相追加，合并成一个大文件。

可以使用如下命令拷贝文件到两台slave主机：

• scp authorized_keys well@myseu2:/home/well/.ssh/   
• scp authorized_keys well@myseu3:/home/well/.ssh/  
  

最后，需要在每台机器上更改权限：

• chmod 700 ~/.ssh  
• chmod 600 ~/.ssh/authorized_keys  
  

测试是否可以使用免密码登录SSH，可以在任意机器上使用以下命令：

• ssh myseu  
• ssh myseu2  
• ssh myseu3  
  

第一次登录可能要输入yes确认，以后就可以直接登录了。

4.在master（这里选择的是myseu这台机器）上解压缩hadoop（这里使用的是hadoop-0.20.2.tar.gz文件）

将hadoop解压缩在well用户的home目录下（即/home/well/ 目录中）

#tar -xzvf hadoop-0.20.2.tar.gz

5.在master上配置hadoop

这里需要修改4个文件。core-site.xml,hdfs-site.xml,mapred-site.xml以及hadoop-env.sh文件。这几个文件都位于hadoop文件夹中的conf文件夹下。

core-site.xml配置如下：（这个文件配置file:///C:/Users/IBM/AppData/LocalLow/Baidu/BAIDUP~1/Account/swwol/CUSTOM~1/Recent/30EA86~1.GIF的是master节点）

• <configuration>   
• <property>   
•   <name>fs.default.namename>   
•   <value>hdfs://myseu:9000</value>   
• </property>  
  

hdfs-site.xml配置如下：（这个文件配置的是slave节点的数量）

• <configuration>   
• <property>   
•   <name>dfs.replication</name>   
•   <value>2</value>   
• </property>   
• </configuration>   
  

mapred-site.xml配置如下：（这里还是配置的是master节点的作业跟踪器，注意value的取值）

• <configuration>   
• <property>   
•    <name>mapred.job.tracker</name>   
•   <value>myseu:9001</value>   
• </property>   
• </configuration>   
  

hadoop-env.sh配置如下：

• export JAVA_HOME=“你的Java安装地址”   
  

然后，还需要修改masters和slaves文件

#vim masters   添加如下内容

myseu

#vim slaves  添加如下内容

myseu2

myseu3

这样，主节点的hadoop就配置好了。

6.向各节点复制hadoop

其他节点可以使用scp命令直接将主节点的hadoop文件拷贝到其他节点中。（so easy，爸爸再也不用担心集群数量的增加啦）

#scp -r ./hadoop-0.20.2 myseu2:/home/well

#scp -r ./hadoop-0.20.2 myseu3:/home/well

(无论多少节点，只要修改一个常数就能全部拷贝)

7.格式化分布式文件系统（这个操作只需要在master节点进行）

#bin/hadoop namenode -format

出现上面的红色下划线部分即表示已经成功的对名称节点进行格式化。

8.启动守护进程

#bin/start-all.sh

成功启动后，可以使用jps命令检查几个进程是否都成功启动了。如上图下半部分所示。

9.检查hadoop是否安装成功

使用浏览器访问 myseu:50070  查看namenode 的运行状况

访问myseu:50030查看Map/Reduce管理界面

至此，整个完全分布的hadoop集群安装完毕，若要增加节点的话，只需更改slave节点的数量，并相应的修改几个文件即可，这里不再赘述。

李斯特

奈何桥下旳莲花-,见证了誰与誰旳．兩代繁華。

henda

你敢不敢大声对我说：这世界上除了你，　谁都没资格陪在我身边。

qaqa12345667

害怕再一次的奋不顾身，背后无可预知的万一。