hadoop-1.2.0集群安装与配置

yanchuen

　　http://bbs.itcast.cn/thread-17487-1-1.html
　　、硬件环境1、windows7旗舰版64位
　　2、VMwareWorkstationACE版6.0.2
　　3、RedhatLinux5
　　4、Hadoop-1.2.0
WindowsVM[url=]虚拟机器Linux[/url]IP作用Window7　　64位
VMwareWorkstationRedhat1192.168.24.250NameNode、master、jobTrackerRedhat2192.168.24.249DataNode、slave、taskTrackerRedhat3192.168.24.248DataNode、slave、taskTracker　　三、安装VMwareWorkstation和RedhatLinux5
　　1、VMwareWorkstation和RedhatLinux5的安装，网上到处都是，我也是在网上随便找的，你可以找写得更详细准确的，这里不再赘述，可参考：
　　注：当你在虚拟机上安装完一个Linux后，不要重复安装步骤，使用虚拟机带的克隆功能，可以很容易复制出多台一模一样的Linux。
　　可参考：
　　完成这一步骤后的效果

　　四、安装配置Hadoop
　　1、安装hadoop前先配置Linux
　　（1）更改三台机器的网络连接方式
　　选中要更改的虚拟机，右击-设置（Settings）

　　（2）以root用户登录Linux，设置IP地址和默认网关（三台机器都要设置）
　　输入vi/etc/sysconfig/network-scripts/ifcfg-eth0，（vi的使用不再赘述，不懂自己网上查）修改该文件内容为：
　　DEVICE=eth0
　　BOOTPROTO=static
　　IPADDR=192.168.24.250
　　GATEWAY=192.168.27.254
　　NETMASK=255.255.255.0
　　ONBOOT=yes
　　IP地址和默认网关根据自己需要进行设置
　　（3）配置虚拟机的主机名（三台机器都要设置）
　　输入vi/etc/sysconfig/network
　　NETWORKING=yes
　　NETWORKING_IPV6=yes
　　HOSTNAME=redhat1
　　（4）配置主机名与ip地址的对应关系（三台机器都要设置）
　　输入vi/etc/hosts
　　127.0.0.1localhost
　　192.168.24.250redhat1
　　192.168.24.249redhat2
　　192.168.24.248redhat3
　　这是标准内容。去掉多余的，否则可能出现Hadoop在master查看livenodes为0
　　（5）关闭防火墙（三台机器都要设置）
　　输入chkconfigiptablesoff开机不启动防火墙
　　输入serviceiptablesstop关闭当前防火墙服务
　　当然也可以设置防火墙对hadoop放行，为了简单起见，我这里就直接关闭防火墙了。
　　（6）测试网络是否联通
　　设置完成之后，在每台虚拟机之间执行ping命令，保证虚拟机之间网络没有问题
　　如：ping192.168.24.249
　　2、建立linux之间ssh无密码登录
　　到此为止，铺垫工作算是做完了。
　　3、安装和配置JDK（三台机器都要安装）
　　4、安装hadoop（三台机器都要安装）
　　（1）到hadoop官网下载hadoop1.2.0
　　（2）使用ftp上传到linux，如果不懂，可以参考我的文章：
　　（3）解压安装
　　进入hadoop-1.2.0.tar.gz所在的目录
　　输入：
　　tar-zvxfhadoop-1.2.0.tar.gz
　　即安装完毕
　　5、配置Hadoop（三台机器都要设置）
　　（1）配置hadoop环境变量
　　和设置jdk环境变量一样
　　命令：vi/etc/profile
　　在文件最后输入：
　　exportHADOOP_HOME=/usr/local/hadoop-1.2.0
　　exportPATH=$PATHHADOOP_HOME/bin
　　执行命令source/etc/profile使profile生效
　　（2）配置hadoop运行参数
　　更改hadoop安装路径下/conf/hadoop-env.sh的文件（三台机器都要设置）
　　第9行加入exportJAVA_HOME=/usr/java/jdk1.7.0_21
　　更改hadoop安装路径/conf/masters和slaves两个文件。（只配置192.168.24.250虚拟机）
　　masters中输入：192.168.24.250
　　slaves中输入：
　　192.168.24.249
　　192.168.24.248
　　配置hadoop安装路径/conf/core-site.xml、hdfs-site.xml和mapred-site.xml三个文件。(三台机器都要设置)
　　core-site.xml:
　　
　　
　　fs.default.name
　　hdfs://192.168.24.250:9000
　　
　　
　　hadoop.tmp.dir
　　/tmp
　　
　　
　　hdfs-site.xml:
　　
　　
　　dfs.replication
　　2
　　
　　
　　dfs.permissions
　　false
　　
　　
　　mapred-site.xml：
　　
　　
　　mapred.job.tracker
　　192.168.24.250:9001
　　
　　
　　（3）格式化文件系统
　　命令：Hadoopnamenode–format
　　至此hadoop已经安装配置完毕了。
　　五、测试
　　1、启动hadoop
　　在192.168.24.250机器上执行如下指令，启动hadoop安装目录bin下：
　　Start-all.sh
　　对于hadoop来说，启动所有进程是鼻血的，但是如果有必要，你依然可以只启动HDFS（start-dfs）或MapReduce（start-mapred.sh）
　　Web浏览器监视HDFS文件系统状态和MAPREDUCE执行任务的情况。
　　HDFS文件系统

　　2、运行hadoop自带的wordcount示例
　　依次执行命令：
　　echo“Itisadog”>input1
　　echo"itisnotadog">input2
　　hadoopfs-mkdirinput
　　hadoopfs-copyFromLocal/root/input*input
　　hadoopjar/usr/local/hadoop-1.2.0/hadoop-examples-1.2.0.jarwordcountinputoutput
　　可以查看运行状态

　　查看运行结果

　　至此全部成功！
　　六、总结
　　利用多台虚拟机模拟的hadoop集群环境基本搞定，剩下的就是根据需要再做详细的配置了。如果要移植到物理存在的机器上，只需把虚拟机上的安装方式直接搬过去用就可以了。
　　接下来，还会继续出一篇文章介绍eclipse连接远程hadoop集群进行开发，其中也涉及一些比较麻烦的问题，不过幸好都解决了，马上整理出来，期待吧。