Hadoop-2.4.1 ubuntu集群安装配置教程

rihi

　　一．环境
　　系统： Ubuntu 14.04 32bit
　　Hadoop版本： Hadoop 2.4.1 (stable)
　　JDK版本： 1.7
　　集群数量：3台
　　注意事项：我们从Apache官方网站下载的Hadoop2.4.1是linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译。
　　
　　二.准备工作
　　（三台机器都需要进行以下前四步配置）
　　1.安装ubuntu14.04 32bits
　　2.创建新用户hadoop并增加管理员权限
　　输入如下命令（整个hadoop配置最好切换到root权限进行，在ubuntu下使用root必须给root设置密码才可使用：sudo passwd root）：
　　root@ubuntu:~# sudo adduser hadoop
　　按照提示输入信息，密码设置为hadoop，回车确定。结束之后系统会自动创建用户主目录，创建用户同名的组。（adduser命令包装了useradd，虽然在别的linux系统下两个命令一样，但在ubuntu下使用useradd时，并没有创建同名的用户主目录。）
　　让该用户获得管理员权限：
　　hadoop@ubuntu:~# sudo vim /etc/sudoers
　　修改文件如下：
# User privilege specification
root ALL=(ALL) ALL
hadoop ALL=(ALL) ALL
保存退出，hadoop用户就拥有了root权限。
　　3.安装jdk（安装完之后用java -version查看jdk版本）
　　已经下载好java安装包，根据安装教程进行安装
　　4.修改机器网络配置
　　修改机器的hostname为Master，Slave1，Slave2（对应三台机器）：
　　hadoop@ubuntu:~# sudo vim /etc/hostname

　　（marco对应为Master，Slave1，Slave2）
　　三台机器的IP必须固定。修改hosts文件。
　　hadoop@ubuntu:~# sudo vim /etc/hosts
　　添加字段：IP hostname

　　（marco对应为Master，Slave1，Slave2）
　　完成后重启机器，然后在终端可以看到hostname的变化。
　　（配置完之后可以互相ping主机名测试是否配置成功）
　　5.配置SSH无密码登陆
　　安装ssh（如果系统没有默认安装或者版本过旧使用以下命令，确保三台机器都有ssh服务）
　　hadoop@Master:~# sudo apt-get install ssh
　　生成Master的公钥：
　　hadoop@Master:~# cd ~/.ssh
　　hadoop@Master:~# ssh-keygen -t rsa # 一直按回车就可以，生成的密钥保存为.ssh/id_rsa
　　Master 节点需能无密码 ssh 本机，这一步还是在 Master 节点上执行：
　　hadoop@Master:~# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
　　（完成后可以用ssh Master验证）
　　接着将公匙传输到 Slave1（Slave2） 节点：
　　hadoop@Master:~# scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/
　　然后在Slave1节点上将ssh公钥保存到相应位置：
　　hadoop@Slave1:~# cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
　　最后在Master节点就可以无密码ssh到Slave1（Slave2）了。
　　
　　三.配置集群/分布式环境
　　1.下载并解压hadoop-2.4.1.tar.gz文件在/home/hadoop目录下。(在Master下配置，之后再将配置传输到slave节点)
　　2.修改文件slaves
　　hadoop@Master:~# cd /home/hadoop/etc/hadoop/
　　hadoop@Master:~# vim slaves
　　将原来 localhost 删除，把所有Slave的主机名写上，每行一个。如下：
　　Slave1
　　Slave2
　　3.修改文件core-site.xml
　　将原来的如下内容
　　
　　
　　改为下面的配置。后面的配置文件的修改类似。
　　
　　fs.defaultFS
　　hdfs://Master:9000
　　
　　
　　hadoop.tmp.dir
　　file:/home/hadoop/hadoopInfo/tmp
　　
　　（如果启动服务时找不到hadoopInfo/tmp，需手动在三台机器创建该目录）
　　4.修改hdfs-site.xml
　　
　　dfs.namenode.name.dir
　　file:/home/hadoop/hadoopInfo/tmp/dfs/name
　　
　　
　　dfs.datanode.data.dir
　　file:/home/hadoop/hadoopInfo/tmp/dfs/data
　　
　　
　　dfs.replication
　　1
　　
　　5.修改文件mapred-site.xml，这个文件不存在，首先需要从模板中复制一份：
　　hadoop@Master:~# cp mapred-site.xml.template mapred-site.xml
　　然后配置修改如下：
　　
　　mapreduce.framework.name
　　yarn
　　
　　6.修改文件yarn-site.xml:
　　
　　yarn.resourcemanager.hostname
　　Master
　　
　　7.配置好后，将 Master 上的 Hadoop 文件复制到各个节点上(虽然直接采用 scp 复制也可以正确运行，但会有所不同，如符号链接 scp 过去后就有点不一样了。所以先打包再复制比较稳妥)。
　　hadoop@Master:~# cd /home/hadoop
　　hadoop@Master:~# sudo tar -zcf ./hadoop-2.4.1.tar.gz ./hadoop-2.4.1
　　hadoop@Master:~# scp ./hadoop-2.4.1.tar.gz Slave1:/home/hadoop
　　在Slave1（Slave2）上执行：
　　hadoop@Slave1:~# sudo tar -zxf ~/hadoop-2.4.1.tar.gz
　　hadoop@Slave1:~# sudo chown -R hadoop:hadoop /home/hadoop
　　
　　注意事项：切换 Hadoop 的模式，不管是从集群切换到伪分布式，还是从伪分布式切换到集群，如果遇到无法正常启动的情况，可以删除所涉及节点的临时文件夹，这样虽然之前的数据会被删掉，但能保证集群正确启动。或者可以为集群模式和伪分布式模式设置不同的临时文件夹（未验证）。所以如果集群以前能启动，但后来启动不了，特别是 DataNode 无法启动，不妨试着删除所有节点（包括 Slave 节点）上的 tmp 文件夹，重新执行一次 bin/hdfs namenode -format，再次启动试试。
　　
　　8.然后在Master节点上就可以启动hadoop了。
　　hadoop@Master:~# cd /home/hadoop/hadoop-2.4.1
　　hadoop@Master:~# bin/hdfs namenode -format       # 首次运行需要执行初始化，后面不再需要
　　hadoop@Master:~# sbin/start-dfs.sh
　　hadoop@Master:~# sbin/start-yarn.sh
　　通过命令JPS可以查看各个节点所启动的过程。
　　可以看到Master节点启动了NameNode、SecondrryNameNode、ResourceManager进程。
　　Slave节点则启动了DataNode和NodeManager进程。
　　可以通过http://master:50070/进入hadoop的管理界面。
　　关闭Hadoop集群也是在Master节点上执行：
　　hadoop@Master:~# sbin/stop-dfs.sh
　　hadoop@Master:~# sbin/stop-yarn.sh
　　
　　
　　四．应用案例：
　　在官网上有一个hadoop单节点和集群的hadoop job示例，
　　http://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html
　　根据链接里的 Example: WordCount v2.0 部分进行操作