Hadoop部署运行

santaclaus

　　1、部署环境
　　Master: blade6
　　slaves: blade10 blade13
　　三个节点都是rhel6.2服务器
　　2、前期准备
　　（1）java 下载jdk，配置JAVA_HOME、PATH等，这里不做详述。
　　（2）sshd 无密码登陆
　　执行
$ ssh-keygen -t rsa　　直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个成对出现，是私钥和公钥。再把id_dsa.pub 追加到授权key 里面(起初没有authorized_keys)，即执行
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys　　完成后实现无密码登录本机。
　　然后将id_dsa、id_dsa.pub复制到所有涉及的节点上（blade6、blade10、blade13），并各自执行
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys　　可以实现各个节点ssh无密码登录。
　　相关内容可参见：
　　http://hi.baidu.com/sinbad/item/ef5bd0f9cd5acf6c3d14856b
　　http://stevenz.blog.hexun.com/15798089_d.html
　　（3）配置主机名
　　在/etc/hosts中，输入IP与主机名的对应关系，不做详述。
　　3、下载解压hadoop与单机测试
　　（1）下载解压
　　进入hadoop官网下载页面http://hadoop.apache.org/releases.html#Download
　　本人下载了hadoop-1.0.4版本，然后tar zxvf xxx解压。
　　（2）设置配置文件，
　　进入hadoop安装目录，修改文件conf/hadoop-env.sh
　　加入export JAVA_HOME=/etc/alternatives/java_sdk_1.6.0
　　（3）测试单机是否安装正确
　　在hadoop安装目录下执行
bin/hadoop jar hadoop-examples-1.0.4.jar wordcount conf/  /tmp/out　　测试本机hadoop运行正常。
　　4、配置文件
　　备注：由于实验集群上有多个hadoop实例（每个节点上都有），因此我部署的hadoop不能使用默认端口，需要专门配置端口。另外，注意主机名不要有“-”、“_”、“.”之类的符号，测试时发现有这些时不正常。
　　（1）conf/core-site.xml
　　主要是配置NameNode，fs.default.name是NameNode的URI，形式应该是hdfs://主机名: 端口。
　　
  
　　
    fs.default.name  
　　
    hdfs://blade6:19000
　　
   
　　
  
　　

　　（2）Conf/hdfs-site.xml
　　
  
　　
    dfs.replication
　　
    2
　　
  
　　
  
　　
    dfs.datanode.address
　　
    0.0.0.0:60010
　　
   
　　
  
　　
  
　　
    dfs.datanode.http.address
　　
    0.0.0.0:60075
　　
   
　　
  
　　
  
　　
    dfs.datanode.ipc.address
　　
    0.0.0.0:60020
　　
   
　　
  
　　
  
　　
    dfs.secondary.http.address
　　
    0.0.0.0:60090
　　
   
　　
  
　　

　　（3）conf/mapred-site.xml ）
　　配置map-reduce相关进程，其中mapred.job.tracker是JobTracker的主机（或者IP）: PORT。
　　
  
　　
    mapred.job.tracker
　　
    blade6:19001
　　
   
　　
  
　　
  
　　
     mapred.job.tracker.http.address
　　
     0.0.0.0:60030
　　
     
　　
  
　　
  
　　
    mapred.task.tracker.http.address
　　
    0.0.0.0:60060
　　
   
　　
  
　　

　　（4）conf/masters和conf/slaves
　　分别是
blade6blade10　　
blade13
　　（5）将配置文件复制到其他节点
　　（要考虑各个节点的具体情况，保证各节点的配置信息是正确的）
　　5、启动Hadoop
　　（1）格式化hdfs
　　在节点maste上 hadoop目录下
bin/hadoop namenode -format　　（2）启动所有节点
　　在节点master hadoop目录下
　　启动方式1：（同时启动HDFS和Map/Reduce）
$bin/start-all.sh　　启动方式2：
$bin/start-dfs.sh　　
$bin/start-mapred.sh
　　（3）关闭Hadoop
　　在master上 hadoop目录下
bin/stop-all.sh　　6、在Hadoop运行程序（以wordcount为例）
　　部署好编程环境，总要跑个程序例子。从这个角度看，Hadoop中Wordcount有些像编程语言中的Helloworld。
　　在启动Hadoop（运行bin/start-all.sh）后，依次执行
bin/hadoop dfs -mkdir input   // 在hdfs上创建目录input　　
bin/hadoop dfs -put conf input // 将目录conf放入目录input中
　　
bin/hadoop jar hadoop-examples-0.20.205.0.jar wordcount input/* output
　　
//运行mapreduce程序，以input目录为输入，以output目录为输出
　　
bin/hadoop dfs -cat output/part-r-00000 // 查看执行结果
　　附录
　　HDFS常见操作
hadoop dfs -ls 列出HDFS下的文件　　
hadoop dfs -ls in 列出HDFS下某个文档中的文件
　　
hadoop dfs -mkdir dir 在HDFS中创建目录
　　
hadoop dfs -put test1.txt test 上传文件到指定目录并且重新命名，只有所有的DataNode都接收完数据才算成功
　　
hadoop dfs -get in getin 从HDFS获取文件并且重新命名为getin，同put一样可操作文件也可操作目录
　　
hadoop dfs -rmr out 删除指定文件从HDFS上
　　
hadoop dfs -cat in/* 查看HDFS上in目录的内容
　　
hadoop dfsadmin -report 查看HDFS的基本统计信息，结果如下
　　
hadoop dfsadmin -safemode leave 退出安全模式
　　
hadoop dfsadmin -safemode enter 进入安全模式
　　7、部分问题
　　(1) 机器重启后 Hadoop namenode 无法启动
　　http://blog.csdn.net/limiteewaltwo/article/details/8565523
　　（2）Hadoop Datanode无法启动
　　报错
2014-03-19 11:25:42,396 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /tmp/hadoop-xxx/dfs/data: namenode namespaceID = 1081845705; datanode namespaceID = 886839309　　http://blog.csdn.net/xw13106209/article/details/6852510