Hadoop 三台主机 集群搭建 详解 <转>

darkpoon

　　


　　部署环境：
　　OS：Redhat 5.5 Enterprise
　　JDK：jdk1.6.0_32
　　Hadoop：Hadoop-0.20.2
　　VMWare：7.0
　　节点安排及网络拓扑：
　　节点类型　　　　　　节点IP　　　　　　节点hostname
　　master节点　　　　 192.168.40.5　　master
　　slave节点　　　　　 192.168.40.5　　master(此时，master既是master节点，也是slave节点)
　　192.168.40.6　　salve1
　　192.168.40.7　　slave2
　　secondaryName节点192.168.40.5　　master(此时，master既是master节点，也是slave节点，也是secondaryNameNode)
　　配置步骤：
　　一、网络配置
　　首先关闭三台虚拟机的防火墙，步骤可参考：关闭防火墙
　　先用VMWare安装三台虚拟机（可以先安装一台，然后clone两台），按照节点安排及网络拓扑配置网络，先配置master节点的网络：
　　① 静态网络IP配置见VMware Redhat网络配置，分别将三台虚拟机的IP进行设置
　　② 修改主机名：vi /etc/hosts(解析IP要用)，添加
　　192.168.40.5 master
192.168.40.6 slave1
192.168.40.7 slave2
　　③ 按照此过程及相同数据(除了IP地址不同)对三台虚拟机进行配置
　　二、 安装jdk
　　Hadoop 是用java开发的，Hadoop的编译及mapreduce的运行都需要使用JDK，所以JDK是必须安装的
　　① 下载jdk，http://www.oracle.com/technetwork/java/javase/downloads/index.html
　　② 在用户根目录下，建立bin文件夹：mkdir ~/bin（也可放在其他处，个人习惯而已）
　　③ 改变执行权限：chmod u+x jdk-6u26-linux-i586.bin
　　④ 执行文件：sudo -s ./jdk-6u26-linux-i586.bin，一路确定
　　⑤ 配置环境变量：vi ~/.bash_profile,添加：
　　export JAVA_HOME=/root/bin/jdk1.6.0_32
export PATH=$PATH:$JAVA_HOME/bin
　　⑥ 使profile文件生效：source ~/.bash_profile
　　⑦ 验证是否配置成功：which java
　　[iyunv@master ~]# which java
/root/bin/jdk1.6.0_32/bin/java 配置生效。也可输入java -version, java, javac进一步确定
　　⑧ 分别相同配置另外两台主机
　　
　　三、建立ssh互信
　　hadoop 需要通过ssh互信来启动slave里表中各个主机的守护进程，所以SSH是必须安装的（redhat 5.5
Enterprise
以默认安装）。但是是否建立ssh互信（即无密码登陆）并不是必须的，但是如果不配置，每次启动hadoop，都需要输入密码以便登录到每台机器的
Datanode上，而一般的hadoop集群动辄数百或数千台机器，因此一般来说都会配置ssh互信。
　　① 生成密钥并配置ssh无密码登陆主机(在master主机)
　　#ssh -keygen -t dsa -P '' -f ~/.ssh/id_dsa
　　root@ubuntu:~/.ssh# ssh-keygen -t dsa
Generating public/private dsa key pair.
Enter file in which to save the key (/root/.ssh/id_dsa): /root/.ssh/id_dsa
Enter passphrase (empty for no passphrase): （设置密码为空，直接回车）
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_dsa.
Your public key has been saved in /root/.ssh/id_dsa.pub.
The key fingerprint is:
15:cd:dc:6c:1d:56:a3:82:3a:2a:e3:64:35:0b:dc:cc root@ubuntu
The key's randomart image is:
+--[ DSA 1024]----+
|          .+ o =+|
|          ..+ * o|
|         ... o   |
|  . +   ..  .    |
|   o E oS        |
|    o + .        |
|   = o           |
|  + o            |
|   .             |
+-----------------+
　　cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
　　② 将authorized_keys文件拷贝到两台slave主机
　　scp authorized_keys slave1:~/.ssh/
　　scp authorized_keys slave2:~/.ssh/
　　③ 检查是否可以从master无密码登陆slave机
　　ssh slave1(在master主机输入) 登陆成功则配置成功，exit退出slave1返回master
　　四、配置Hadoop
　　① 下载：点击到下载页面，选择hadoop-0.20.2.tar.gz
　　② 放到~/bin下解压： tar -xzvf hadoop-0.20.2.tar.gz
　　③ 解压后进入：~/bin/hadoop-0.20.2/conf/，修改配置文件：
　　修改hadoop-env.sh:



export JAVA_HOME=/root/bin/jdk1.6.0_32
转载注明出处：博客园 石头儿 http://www.iyunv.com/shitouer/
　　hadoop-env.sh里面有这一行，默认是被注释的，只需要把注释去掉，并且把JAVA_HOME 改成你的java安装目录即可
　　修改core-site.xml










fs.default.name
hdfs://master:9000


Hadoop.tmp.dir
/tmp/hadoop-root


转载注明出处：博客园 石头儿 http://www.iyunv.com/shitouer/

　　注释一：hadoop分布式文件系统文件存放位置都是基于hadoop.tmp.dir目录的，namenode的名字空间存放地方就是 ${hadoop.tmp.dir}/dfs/name, datanode数据块的存放地方就是 ${hadoop.tmp.dir}/dfs/data，所以设置好hadoop.tmp.dir目录后，其他的重要目录都是在这个目录下面，这是一个根 目录。
　　注释二：fs.default.name,设置namenode所在主机，端口号是9000
　　注释三：core-site.xml 对应有一个core-default.xml, hdfs-site.xml对应有一个hdfs-default.xml,mapred-site.xml对应有一个mapred- default.xml。这三个defalult文件里面都有一些默认配置，现在我们修改这三个site文件，目的就覆盖default里面的一些配置
　　修改hdfs-site.xml










dfs.replication
3


转载注明出处：博客园 石头儿 http://www.iyunv.com/shitouer/

　　dfs.replication，设置数据块的复制次数，默认是3，如果slave节点数少于3，则写成相应的1或者2
　　修改mapred-site.xml
　　










mapred.job.tracker
http://master:9001


转载注明出处：博客园 石头儿 http://www.iyunv.com/shitouer/

　　mapred.job.tracker，设置jobtracker所在机器，端口号9001
　　修改masters



master      
转载注明出处：博客园 石头儿 http://www.iyunv.com/shitouer/
　　虽然masters内写的是master，但是个人感觉，这个并不是指定master节点，而是配置secondaryNameNode
　　修改slaves



master
slave1
slave2

转载注明出处：博客园 石头儿 http://www.iyunv.com/shitouer/

　　配置了集群中所有slave节点
　　④ 添加hadoop环境变量，并 source ~/.bash_profile使之生效



export JAVA_HOME=/root/bin/jdk1.6.0_32
export HADOOP_HOME=/root/bin/hadoop-0.20.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
转载注明出处：博客园 石头儿 http://www.iyunv.com/shitouer/
　　⑤ 将已经配置好的hadoop-0.20.2，分别拷贝到另外两台主机，并做相同配置
　　⑥ 此时，hadoop的集群配置已经完成，输入hadoop，则可看到hadoop相关的操作





[iyunv@master ~]# hadoop
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
namenode -format     format the DFS filesystem
secondarynamenode    run the DFS secondary namenode
namenode             run the DFS namenode
datanode             run a DFS datanode
dfsadmin             run a DFS admin client
mradmin              run a Map-Reduce admin client
fsck                 run a DFS filesystem checking utility
fs                   run a generic filesystem user client
balancer             run a cluster balancing utility
jobtracker           run the MapReduce job Tracker node
pipes                run a Pipes job
tasktracker          run a MapReduce task Tracker node
job                  manipulate MapReduce jobs
queue                get information regarding JobQueues
version              print the version
jar             run a jar file
distcp   copy file or directories recursively
archive -archiveName NAME *  create a hadoop archive
daemonlog            get/set the log level for each daemon
or
CLASSNAME            run the class named CLASSNAME
Most commands print help when invoked w/o parameters.
转载注明出处：博客园 石头儿 http://www.iyunv.com/shitouer/

　　⑦ 此时，首先格式化hadoop
　　在命令行里执行，hadoop namenode -format
　　⑧ 启动hadoop
　　在命令行里执行，start-all.sh，或者执行start-dfs.sh,再执行start-mapred.sh
　　⑨ 输入jps，查看启动的服务进程





master节点：
[iyunv@master ~]# jps
25429 SecondaryNameNode
25500 JobTracker
25201 NameNode
25328 DataNode
18474 Jps
25601 TaskTracker
转载注明出处：博客园 石头儿 http://www.iyunv.com/shitouer/




slave节点：
[iyunv@slave1 ~]# jps
4469 TaskTracker
4388 DataNode
29622 Jps
转载注明出处：博客园 石头儿 http://www.iyunv.com/shitouer/
　　如上显示，则说明相应的服务进程都启动成功了。
　　圈10(额，像①一样的圈出不来了(⊙o⊙)) 查看hdfs分布式文件系统的 文件目录结构



hadoop fs -ls /
转载注明出处：博客园 石头儿 http://www.iyunv.com/shitouer/
　　此时发现为空，因为确实什么也没有，运行一下命令，则可创建一个文件夹：



hadoop fs -mkdir /newDir
转载注明出处：博客园 石头儿 http://www.iyunv.com/shitouer/
　　再次执行hadoop fs -ls /，则会看到newDir文件夹，关于hadoop fs 命令，参见：HDFS 命令
　　圈11 运行hadoop 类似hello world的程序
　　本来，都是以word count来运行的，但是还得建文件夹之类的，有一个更简单的，就是example中的计算&pi;值的程序，我们来计算一下，进入hadoop目录，运行如下：





[iyunv@slave1 hadoop-0.20.2]# hadoop jar hadoop-0.20.2-examples.jar pi 4 2
Number of Maps  = 4
Samples per Map = 2
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Starting Job
12/05/20 09:45:19 INFO mapred.FileInputFormat: Total input paths to process : 4
12/05/20 09:45:19 INFO mapred.JobClient: Running job: job_201205190417_0005
12/05/20 09:45:20 INFO mapred.JobClient:  map 0% reduce 0%
12/05/20 09:45:30 INFO mapred.JobClient:  map 50% reduce 0%
12/05/20 09:45:31 INFO mapred.JobClient:  map 100% reduce 0%
12/05/20 09:45:45 INFO mapred.JobClient:  map 100% reduce 100%
12/05/20 09:45:47 INFO mapred.JobClient: Job complete: job_201205190417_0005
12/05/20 09:45:47 INFO mapred.JobClient: Counters: 18
12/05/20 09:45:47 INFO mapred.JobClient:   Job Counters
12/05/20 09:45:47 INFO mapred.JobClient:     Launched reduce tasks=1
12/05/20 09:45:47 INFO mapred.JobClient:     Launched map tasks=4
12/05/20 09:45:47 INFO mapred.JobClient:     Data-local map tasks=4
12/05/20 09:45:47 INFO mapred.JobClient:   FileSystemCounters
12/05/20 09:45:47 INFO mapred.JobClient:     FILE_BYTES_READ=94
12/05/20 09:45:47 INFO mapred.JobClient:     HDFS_BYTES_READ=472
12/05/20 09:45:47 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=334
12/05/20 09:45:47 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=215
12/05/20 09:45:47 INFO mapred.JobClient:   Map-Reduce Framework
12/05/20 09:45:47 INFO mapred.JobClient:     Reduce input groups=8
12/05/20 09:45:47 INFO mapred.JobClient:     Combine output records=0
12/05/20 09:45:47 INFO mapred.JobClient:     Map input records=4
12/05/20 09:45:47 INFO mapred.JobClient:     Reduce shuffle bytes=112
12/05/20 09:45:47 INFO mapred.JobClient:     Reduce output records=0
12/05/20 09:45:47 INFO mapred.JobClient:     Spilled Records=16
12/05/20 09:45:47 INFO mapred.JobClient:     Map output bytes=72
12/05/20 09:45:47 INFO mapred.JobClient:     Map input bytes=96
12/05/20 09:45:47 INFO mapred.JobClient:     Combine input records=0
12/05/20 09:45:47 INFO mapred.JobClient:     Map output records=8
12/05/20 09:45:47 INFO mapred.JobClient:     Reduce input records=8
Job Finished in 28.952 seconds
Estimated value of Pi is 3.50000000000000000000
转载注明出处：博客园 石头儿 http://www.iyunv.com/shitouer/

　　计算PI值为3.5，还算靠近，至于输出log日志，就不介绍了，以后学的稍微深入，可多做了解。
　　Hadoop 三节点集群的配置就介绍到这里，接下来，会介绍一下如何在windows中远程连接hadoop，并配置eclipse来进行MapReduce的开发和调试。
　　本文打算写成一个系列，从集群搭建，到windows中远程连接开发调试，再到源码的阅读和分析，立此存照，必须说到做到。
　　转载注明出处：博客园 石头儿 http://www.iyunv.com/shitouer/
　　系列文章：
　　1. VMware Redhat网络配置
　　2. Hadoop 三台主机 集群搭建 详解
　　3. Windows 下配置 Eclipse 连接 Hadoop 开发环境
　　
　　
　　文章来源