完全分布模式hadoop集群安装配置之一安装第一个节点

sexevil

　　本系列文章讲述搭建完全分布模式hadoop的安装配置过程，还将讲述完全分布式模式的一些基本操作。准备采用先单机调通再加入节点的方式。本文只讲述单节点的安装和配置。
　　
　　1. Namenode和JobTracker的安装
　　
　　这是完全分布模式集群的第一台，也是很关键的一台。采用VMWARE虚拟的Ubuntu Linux 11.10  server版。安装Linux非本文重点就不说了。 默认建立了一个用户叫abc, 其有sudo权限。root的口令是随机的一个口令，只能用sudo命令暂时提升到root权限。为保险起见，安装完系统第一件事就是改root密码。用sudo passwd root，系统不会问你要原口令，直接输入新口令两遍即可。有root口令在手，后面万一操作错误不至于束手无策。
　　
　　1.1 安装JDK1.6
　　
　　有个命令可以很快地安装jdk,   sudo apt-get install sun-java6-jdk, 这是ubuntu系统本身一个机制。当时试了一下，没有成功，记得说是找不到包。不知道啥原因，要不网络不行，要不包名不对了。就放弃了。只好找另外的办法。
　　到Oracle网站上找到JDK 1.6的目前最新版本 JDK 1.6.0_31. 得到其下载链接：


　　选这个是因为它是32位的JDK, Ubuntu Linux选的是32位的。JDK所以也选32位。点“Accept License Agreement", 右键点到"jdk-6u31-linux-i586.bin"上，在属性中得到其链接：http://download.oracle.com/otn-pub/java/jdk/6u31-b04/jdk-6u31-linux-i586.bin,  再回到虚拟机中，用abc登录，输入命令：
　　wget http://download.oracle.com/otn-pub/java/jdk/6u31-b04/jdk-6u31-linux-i586.bin
　　这下载需要一段时间。等下载完成后，在/home/abc/下就有一个jdk-6u31-linux-i586.bin的文件。
　　sudo mkdir /usr/lib/jvm
　　cd /usr/lib/jvm
　　sudo mkdir java
　　cd java
　　sudo cp /home/abc/jdk-6u31-linux-i586.bin  .
　　sudo chmod 777 jdk-6u31-linux-i586.bin
　　./jdk-6u31-linux-i586.bin
　　这样就开始安装jdk了。一会就安装好了。
　　sudo vi /etc/environment
　　将此文件做如下修改：
　　在PATH那一行后面添加   :/usr/lib/jvm/java/jdk1.6.0_31/bin   注意/usr前面那个冒号是需要的。
　　再加这两行：
　　CLASSPATH=.:/usr/lib/jvm/java/jdk1.6.0_31/lib
　　JAVA_HOME=/usr/lib/jvm/java/jdk1.6.0_31
　　保存
　　说明：有的地方说linux 系统本身会默认安装一些包如openjdk包，就会造成多个jvm共存。还需要用update -alternatives 命令去选择默认的jvm到刚安装的jdk目录。
　　发现Ubuntu Linux11.10 server版默认没有装其他的任何jdk包，在此之前连java命令都无法运行，所以不需要运行update-alternatives 命令了。
　　sudo reboot
　　
　　1.2 建立hadoop用户和hadoop组
　　
　　重启系统后，登录abc用户
　　sudo addgroup hadoop
　　sudo adduser --ingroup hadoop hadoop
　　输入新口令两遍，然后是一些无关紧要的信息，一路回车直到完成命令。hadoop用户就建立了。
　　su
　　输入root的口令，成功后就换成了root用户
　　继续输入命令：
　　chmod u+w /etc/sudoers
　　vi /etc/sudoers
　　在此行：root    ALL=(ALL:ALL) ALL  后加一行：
　　hadoop  ALL=(ALL:ALL) ALL
　　意思就是允许hadoop用户sudo运行任何命令
　　保存
　　chmod u-w  /etc/sudoers
　　这是把sudoers文件的权限改回440, 即root用户通常也只读。Ubuntu linux的sudo 命令运行时会检查这个文件权限是否440, 如果不是440, sudo命令都没有办法工作。所以改完之后一定要改回原来的440.
　　作为root用户的任务就结束了，输入exit退出root用户
　　再输入exit退出abc用户
　　
　　1.3 配置SSH Key以便hadoop用户无密码登录集群
　　
　　再用刚刚建立的用户hadoop来登录，
　　sudo apt-get install ssh
　　ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
　　要用命令ssh localhost来测试一下ssh是否工作，如果不用输入口令那就正确。
　　
　　1.4 检查主机名,修改/etc/hostname, /etc/hosts
　　
　　sudo vi /etc/hostname
　　检查系统自动分配的主机名是否合适，不合适的话改成一个有意义的名字，如namenode,保存
　　ifconfig
　　看看当前IP,记录下来。
　　sudo vi /etc/hosts
　　那些127开头的两行都不用动，
　　在后面加刚刚记录的IP 和新改的主机名，保存
　　这个很重要。不正确地做的话，可能后面jobtracker的reduce步骤运行不正常。
　　
　　1.5 安装hadoop包
　　
　　从http://hadoop.apache.org/common/releases.html找一个当前的stable的版本。找到了0.20.203.0版本，找一个比较近的镜像站点。wget下载此包到/home/hadoop/目录下。
　　继续以hadoop用户输入命令
　　sudo mkdir /usr/local/hadoop
　　sudo chown hadoop:hadoop /usr/local/hadoop
　　cp /home/hadoop/hadoop-0.20.203.0rc1.tar.gz  /usr/local/hadoop
　　cd /usr/local/hadoop
　　tar zxvf hadoop-0.20.203.0rc1.tar.gz
　　cd hadoop-0.20.203.0/conf
　　vi hadoop-env.sh
　　就把这行改成这样：export JAVA_HOME=/usr/lib/jvm/java/jdk1.6.0_31/， 其他都可以暂时不动。
　　vi core-site.xml
　　里面是空的，将其内容改成：
　　

  fs.default.name
  hdfs://namenode:9000


  hadoop.tmp.dir
  /home/hadoop/tmp


　　vi hdfs-site.xml， 加入：
　　
  fs.default.name
  hdfs://namenode:9000


  hadoop.tmp.dir
  /home/hadoop/tmp


  dfs.replication
  1

　　这个dfs.replication表示数据复制的份数，生产环境就不可能是1了，当然是要大于1了。
　　vi mapred-site.xml，将其改成：
　　
  fs.default.name
  hdfs://namenode:9000


  hadoop.tmp.dir
  /home/hadoop/tmp


  dfs.replication
  1


  mapred.job.tracker
  namenode:9001

　　注意这里jobtracker和namenode选用了同一个主机，即在同一台机器上，生产环境是可以namenode和jobtracker分开成两个机器的。
　　
　　都改完成了。就修改一下PATH变量：
　　sudo vi /etc/environment
　　在PATH那一行后面再加上   :/usr/local/hadoop/hadoop-0.20.203.0/bin   保存， 这是为了能随时可用hadoop的命令。
　　sudo reboot重启
　　
　　1.6  格式化hdfs
　　再用hadoop用户登录，
　　hadoop namenode -format
　　
　　1.7 启动此单机配置及验证
　　start-all.sh
　　此hadoop单个节点的就启动了。
　　验证可以用：
　　jps
　　出这样的结果就对了：
　　3156 NameNode
2743 SecondaryNameNode
3447 Jps
2807 JobTracker
2909 TaskTracker
2638 DataNode
　　再hadoop dfsadmin -report
　　能显示出hdfs的信息
　　
　　访问http://namenode:50070/ 显示hdfs的信息
　　还有http://namenode:50030/ 显示jobtracker的信息
　　再可以用一些常用命令将文件放到hdfs上，如
　　hadoop fs -put test.txt /user/hadoop/test.text
　　以上可以证明hdfs基本正常.下面要验证jobtracker和taskTracker是否正常，准备运行hadoop example中的wordcount程序。
　　cd /usr/local/hadoop/hadoop/hadoop-0.20.203.0
　　hadoop fs -put conf input
　　将conf目录拷贝到hdfs
　　hadoop jar hadoop-examples-0.20.203.0.jar wordcount input output
　　得到大概这样的结果就对了, 即map增长到100%, reduce也增长到100%，
　　12/03/05 07:52:09 INFO input.FileInputFormat: Total input paths to process : 15
12/03/05 07:52:09 INFO mapred.JobClient: Running job: job_201203050735_0001
12/03/05 07:52:10 INFO mapred.JobClient:  map 0% reduce 0%
12/03/05 07:52:24 INFO mapred.JobClient:  map 13% reduce 0%
12/03/05 07:52:25 INFO mapred.JobClient:  map 26% reduce 0%
12/03/05 07:52:30 INFO mapred.JobClient:  map 40% reduce 0%
12/03/05 07:52:31 INFO mapred.JobClient:  map 53% reduce 0%
12/03/05 07:52:36 INFO mapred.JobClient:  map 66% reduce 13%
12/03/05 07:52:37 INFO mapred.JobClient:  map 80% reduce 13%
12/03/05 07:52:39 INFO mapred.JobClient:  map 80% reduce 17%
12/03/05 07:52:42 INFO mapred.JobClient:  map 100% reduce 17%
12/03/05 07:52:51 INFO mapred.JobClient:  map 100% reduce 100%
12/03/05 07:52:56 INFO mapred.JobClient: Job complete: job_201203050735_0001
12/03/05 07:52:56 INFO mapred.JobClient: Counters: 26
12/03/05 07:52:56 INFO mapred.JobClient:   Job Counters
12/03/05 07:52:56 INFO mapred.JobClient:     Launched reduce tasks=1
12/03/05 07:52:56 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=68532
12/03/05 07:52:56 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/03/05 07:52:56 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/03/05 07:52:56 INFO mapred.JobClient:     Rack-local map tasks=7
12/03/05 07:52:56 INFO mapred.JobClient:     Launched map tasks=15
12/03/05 07:52:56 INFO mapred.JobClient:     Data-local map tasks=8
12/03/05 07:52:56 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=25151
12/03/05 07:52:56 INFO mapred.JobClient:   File Output Format Counters
12/03/05 07:52:56 INFO mapred.JobClient:     Bytes Written=14249
12/03/05 07:52:56 INFO mapred.JobClient:   FileSystemCounters
12/03/05 07:52:56 INFO mapred.JobClient:     FILE_BYTES_READ=21493
12/03/05 07:52:56 INFO mapred.JobClient:     HDFS_BYTES_READ=27707
12/03/05 07:52:56 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=384596
12/03/05 07:52:56 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=14249
12/03/05 07:52:56 INFO mapred.JobClient:   File Input Format Counters
12/03/05 07:52:56 INFO mapred.JobClient:     Bytes Read=25869
12/03/05 07:52:56 INFO mapred.JobClient:   Map-Reduce Framework
12/03/05 07:52:56 INFO mapred.JobClient:     Reduce input groups=754
12/03/05 07:52:56 INFO mapred.JobClient:     Map output materialized bytes=21577
12/03/05 07:52:56 INFO mapred.JobClient:     Combine output records=1047
12/03/05 07:52:56 INFO mapred.JobClient:     Map input records=734
12/03/05 07:52:56 INFO mapred.JobClient:     Reduce shuffle bytes=21577
12/03/05 07:52:56 INFO mapred.JobClient:     Reduce output records=754
12/03/05 07:52:56 INFO mapred.JobClient:     Spilled Records=2094
12/03/05 07:52:56 INFO mapred.JobClient:     Map output bytes=34601
12/03/05 07:52:56 INFO mapred.JobClient:     Combine input records=2526
12/03/05 07:52:56 INFO mapred.JobClient:     Map output records=2526
12/03/05 07:52:56 INFO mapred.JobClient:     SPLIT_RAW_BYTES=1838
12/03/05 07:52:56 INFO mapred.JobClient:     Reduce input records=1047
　　最后再hadoop fs -get output /home/hadoop   将output目录取到本地来查看结果。
　　
　　1.8  单机的停止
　　stop-all.sh
　　
　　1.9 遇到的问题
　　Too many fetch-failures问题
　　运行wordcount示例时，reduce任务无法达到100%总是卡住在0%.
　　分析log里面有Too many fetch-failures信息，上网查了一下，有人说要将IP地址还有hostname都要写到/etc/hosts里面，才行。
　　照着做了一下，发现还是不行。正头大之际，经过不懈努力，终于找到症结：原来ubuntu linux给指定的一个主机名是192，这个主机名192已经成了hdfs的标准配置了。即使本人后来将主机名改成有意义的名字，这个顺序已经不对了，因为发现logs目录下的每个任务的配置文件xml文件还是用的老主机名，新改的主机名根本就没有用上，而这个老主机名存在哪里呢，后来发现这个主机名存在hdfs文件系统的那些文件里。所以需要从1.4步开始到1.8步重新做一遍。如此重新做了一遍以后，运行wordcount示例程序就成功了。
　　
　　本人回答过qq群里同仁的问题：
　　运行hadoop namenode -format报main函数找不到
　　回答：CLASSPATH设置不对。
　　
　　单机安装配置就讲这么多。本文就说到这里了。本文之后的文章将说到如何将新的hadoop节点加入，让多个节点成为一个完全分步式的集群。
　　如果觉得本文有帮助，请帮忙点推荐。谢谢