Hadoop全分布式集群配置文档

sofh7777

　　CentOS6.2下Hadoop全分布式集群配置文档
集群网络环境介绍
　　集群包含三个hadoop节点：1个namenode、2个datanode。节点之间局域网连接，可以互相ping通，并且配置了节点之间互相无密码ssh访问。节点IP地址如下：
　　NameNode：192.168.1.220 主机名：master
　　DataNode 1：192.168.1.223主机名：slaver1
　　DataNode 2：192.168.1.224主机名：slaver2
　　说明：105机器能ping通，但是ssh连接上去短暂的一段时间后自动断开，必须105用ssh访问其他网络之后，才能再次连接上。检查防火墙等各种原因之后未能解决。（望大家提供指导）
　　三台机器系统均为CentOs6.2简体中文版。并且都新建了一个MDSS用户作为hadoop用户，其hadoop都安装在/home/MDSS/hadoop目录下。
集群环境配置/SSH无密码验证配置
配置主机名，以便ssh网络之间识别，在NameNode/192.168.15.102机器上作如下操作：

　　在/etc/hosts文件中添加主机名和一下IP地址列表，以便ssh访问能识别主机名：

　　同时，对datanode1/192.168.15.103机器上和datanode2/192.168.15.105机器上两台机器做如上操作。（区别：datanode1 HOSTNAME=slaver1 , datanode2 HOSTENAME=slaver2）
SSH无密码验证配置
　　生成密钥文件

　　输入如图所示命令，便可以在~/.ssh/下生产id_rsa、id_rsa.pub两个密钥文件，其中id_rsa为私钥，id_rsa.pub为公钥。
　　将公钥文件添加到~/.ssh/authorized_keys文件中

　　将公钥文件远程复制到datanode1和datanode2上

　　分别用MDSS登陆datanod1/slaver1和datanode2/slaver2机器上，将NameNode/master的公钥文件添加到~/.ssh/authorized_keys文件中

　　对anthorized_keys文件夹执行授权命令
　　chmod 600 .ssh/authorized_keys
　　此时，在namenode/master机器上执行 service sshd restart命令重启ssh服务

　　到此，NameNode/master的MDSS用户机器就可以无密码访问datanode1/slaver1和datanode2/slaver2的MDSS用户了

　　若要datanode1/slaver1和datanode2/slaver2的MDSS用户也能无密码SSH访问namenode/master的MDSS用户，只需按照以上步骤做相反的操作就可以。
JDK安装和JAVA环境变量配置
JDK安装
　　在所有机器上安装jdk1.7
　　下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html
　　我下载的是jdk-7u5-linux-i586.rpm，可以根据自己的机器操作系统和版本选择合适的

　　最好还是先卸载掉openjdk,在安装sun公司的jdk
　　先查看 rpm -qa | grep java
　　显示如下信息：
　　java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
　　java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5
　　卸载：
　　rpm -e --nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
　　rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5
　　还有一些其他的命令
　　rpm -qa | grep gcj
　　rpm -qa | grep jdk
　　如果出现找不到openjdk source的话，那么还可以这样卸载
　　yum -y remove java java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
　　yum -y remove java java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5
　　安装下载到/opt目录下的jdk-7u5-linux-i586.rpm

在所有机器上设置JAVA环境变量
　　编辑/etc/profile文件

　　在其末尾添加如下配置行：

　　使配置文件生效
　　source /etc/profile
　　输入javac或者java -version验证jdk安装和JAVA环境是否配置成功
　　出现如下图界面则配置成功

Hadoop安装配置
　　此次我安装的hadoop版本是hadoop-1.0.3
　　下载地址：http://mirror.bjtu.edu.cn/apache/hadoop/core/hadoop-1.0.3/
下载并将hadoop-1.0.3.tar.gz包放置在/opt目录下

　　将hadoop-1.0.3.tar.gz解压至/opt/hadoop-1.0.3

　　将/opt/hadoop-1.0.3移置到/home/MDSS/hadoop下

检查MDSS对hadoop的权限

　　在所有机器上新建/home/MDSS/hadoop_tmp文件
配置hadoop-env.sh文件

　　加入JAVA_HOME环境变量

配置core-site.xml文件

　　修改fs.defaultname的value为hdfs://192.168.15.102:9000

　　修改hadoop.tmp.dir为/home/MDSS/hadoop_tmp

配置hdfs-site.xml文件

　　修改datanode的数量，默认为3，由于现在我只有两个datanode节点，所以配置为2，若是配置的数量大于实际的datanode节点数，则hadoop会启动失败。

配置mapred-site.xml文件

配置 masters文件

　　加入Namenode节点IP

配置slaves文件

　　加入所有dataNode节点IP

将配置好的hadoop文件远程复制到两个datanode节点机器slaver1/slaver2上

在slaver1和slaver2上新建/home/MDSS/hadoop_tmp文件
配置HADOOP_HOME
　　编辑/etc/profile
　　在末尾加入
　　HADOOP_HOME=/home/MDSS/hadoop
　　PATH=$HADOOP_HOME/bin:$PATH
　　export HADOOP_HOME
　　export PATH
　　使修改生效，执行：source /etc/profile
启动Hadoop
格式化NameNode

启动所有服务
　　在NameNode节点启动hadoop服务

检查NameNode是否启动成功
　　在NameNode节点上用java自带工具jps查看进程

检查datanode是否启动成功
　　在所有dataNode节点机器上用java自带的jps查看进程

在NameNode上查看集群状态
　　在NameNode节点执行：hadoop dfsadmin –report命令查看集群状态

Hadoop安装和配置常出现的问题及解决办法
权限不够：没有执行权限，不能创建目录
　　做好权限控制，及时检查用户是否有执行权限。
hadoop-root-datanode-master.log 中有如下错误：　　ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in
导致datanode启动不了。原因:每次namenode format会重新创建一个namenodeId,而dfs.data.dir参数配置的目录中包含的是上次format创建的id,和dfs.name.dir参数配置的目录中的id不一致。namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空dfs.data.dir参数配置的目录.
如果datanode连接不上namenode，导致datanode无法启动。　　ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to ... failed on local exception: java.net.NoRouteToHostException: No route to host
关闭防火墙
　　Shell代码
　　1.service iptables stop
从本地往hdfs文件系统上传文件，出现如下错误：　　INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink
　　INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023
　　WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block.
解决方法：关闭防火墙：
　　Shell代码
　　1.service iptables stop
　　1.
　　禁用selinux:
　　编辑 /etc/selinux/config文件，设置“SELINUX=disabled”
　　4、安全模式导致的错误
　　org.apache.hadoop.dfs.SafeModeException: Cannot delete ..., Name node is in safe mode
　　在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。
　　Java代码
　　1.hadoop dfsadmin -safemode leave
　　关闭安全模式
　　Hadoop集群启动的时候一切正常，但一直处于safemode，只能读不能写，这种时候应该查看namenode的logs，当然这可能会出现不同的情况... 下面仅介绍一种错误处理方案，希望能抛砖引玉，能对大家有所启发。
　　以下是日志提示（此地只摘抄了重要部分）
　　org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete /home/hadoop/tmp/mapred/system. Name node is in safe mode.
　　The ratio of reported blocks 0.0000 has not reached the threshold 0.9990. Safe mode will be turned off automatically.
　　由日志可以看出无法删除/home/hadoop/tmp/mapred/system.（其实这只是一种假象，往往我们会去纠结于这个目录，其实不然）
　　解决方案：
　　1：终极办法强制退出安全模式（safemode）   hadoop dfsadmin -safemode leave   这种方式虽然快，但会有遗留问题，我在用habse的时候就遇到过，很麻烦,然后你就用“hadoop fsck /”工具慢慢恢复吧。
　　2：删除namenode下/home/hadoop/tmp下的所有文件，重新format，当然这种方式非常暴力，因为你的数据完全木有了（对于format后可能会遇到的问题我的另一篇文章 http://blog.csdn.net/rzhzhz/article/details/7056812有提到）
　　3：参考源码可发现这个错误是在检查file的时候抛出来的，基本也就是file的block丢失、错误等原因造成的。这种情况在副本数为1的情况下会很棘手，其他的时候hadoop基本能自行解决，错误数很多的情况下就会一直处于safemode下，当然你可以强制离开安全模式，先保证正常读写，然后再启用“hadoop fsck /”工具慢慢修复。
　　关于集群修改配置文件后的分发，本人写了一个配置文件分发工具http://blog.csdn.net/rzhzhz/article/details/7056775，希望能给大家带来便利。