Hadoop分布式集群搭建

xyzjr

　　Linux安装，环境搭建：
　　1.安装VM
　　2.安装CentOS_6.5虚拟机，硬盘空间设置为10G
　　3.设置网络连接：选择VM-编辑-虚拟网络编辑器-更改设置，选择名称VMnet8移除网络，再添加VMnet8网络，选择NAT模式，点击应用
　　4.设置虚拟机网络连接：右击虚拟机右下角网络适配器-设置-网络适配器，先选择桥接模式，再选择NAT模式，对IP网段进行自动获取
　　5.设置虚拟机IP地址，用root用户：cd /etc/sysconfig/network-scripts/，vim ifcfg-eth0，
　　DEVICE="eth0"
　　BOOTPROTO="static"
　　NM_CONTROLLED="yes"
　　ONBOOT="yes"
　　TYPE="Ethernet"
　　IPADDR=192.168.111.10
　　NETMASK=255.255.255.0
　　GATEWAY=192.168.111.2
　　DNS1=202.103.24.68
　　6.重启网络服务：/etc/init.d/network restart
　　7.验证IP设置是否成功：ifconfig
　　8.验证是否可以上网：curl www.baidu.com
　　9.复制两份虚拟机文件，分别作为slave1和slave2，在VM中打开这两台slave虚拟机
　　10.修改两台slave虚拟机的IP设置：进入/etc/sysconfig/network-scripts/ifcfg-eth0文件，修改IP地址，然后选择虚拟机的网络适配器，删除再添加，重新获取MAC，然后重启网络服务器：/etc/init.d/network restart，查看是否能上网
　　11.设置共享文件夹：VM虚拟机-设置-选项-共享文件夹，Linux路径：/mnt/hgfs/
　　安装jdk
　　12.安装jdk和hadoop：拷贝jdk和Hadoop到/usr/local/src/目录下，
　　cp hadoop-1.2.1-bin.tar.gz /usr/local/src/
　　cp jdk-6u45-linux-x64.bin /usr/local/src/
　　进入/usr/local/src/目录，运行 ./jdk-6u45-linux-x64.bin
　　13.添加环境变量：vim ~/.bashrc，添加：
　　export JAVA_HOME=/usr/local/src/jdk1.6.0_45

　　export>　　export PATH=$PATH:$JAVA_HOME/bin
　　14.运行source ~/.bashrc
　　15.运行java查看是否安装成功
　　16.将jdk远程复制到其他两台slave虚拟机上：
　　scp -rp jdk-6u45-linux-x64.bin 192.168.111.11:/usr/local/src/
　　scp -rp jdk-6u45-linux-x64.bin 192.168.111.12:/usr/local/src/
　　17.在两台slave虚拟机上安装jdk，重新执行步骤12~15
　　安装Hadoop
　　18.安装Hadoop：解压Hadoop
　　tar xvzf hadoop-1.2.1-bin.tar.gz
　　19.进入hadoop-1.2.1文件夹：cd hadoop-1.2.1
　　20.创建tmp文件夹：mkdir tmp
　　21.进入conf文件夹：cd conf/
　　22.修改配置文件：master和slave,master文件里加master,slave文件里加slave1，slave2
　　23.修改core-site.xml文件：vim core-site.xml
　　
　　
　　hadoop.tmp.dir
　　/usr/local/src/hadoop-1.2.1/tmp
　　
　　
　　fs.default.name
　　hdfs://192.168.111.10:9000
　　
　　
　　24.修改mapred-site.xml文件：vim mapred-site.xml
　　
　　
　　mapred.job.tracker
　　http://192.168.111.10:9001
　　
　　
　　25.修改hdfs-site.xml文件：vim hdfs-site.xml
　　
　　
　　dfs.replication
　　2
　　
　　
　　26.修改hadoop-env.sh文件：vim hadoop-env.sh 在最后加上java_home：
　　export JAVA_HOME=/usr/local/src/jdk1.6.0_45
　　本地配置
　　27.本地网络配置：vim /etc/hosts，添加：
　　192.168.111.10 master
　　192.168.111.11 slave1
　　192.168.111.12 slave2
　　28.输入hostname master，使配置立即生效
　　29.修改hostname：vim /etc/sysconfig/network
　　HOSTNAME=master
　　30.将master上修改好的文件远程拷贝到slave1和slave2上：
　　scp -rp hadoop-1.2.1 192.168.111.11:/usr/local/src/
　　scp -rp hadoop-1.2.1 192.168.111.12:/usr/local/src/
　　31.修改slave1和slave2的本地网络配置，重复步骤27~29
　　32.关闭防火墙，每台虚拟机上执行：/etc/init.d/iptables stop,此种方法为临时关闭，如果遇到虚拟机重启，会失效，需要重新执行步骤32~35
　　33.检查防火墙是否关闭：iptables -L
　　34.每台虚拟机上执行：setenforce 0
　　35.检查，每台虚拟机上执行：getenforce
　　互信关系
　　36.虚拟机之间建立互信关系：
　　在虚拟机上执行：ssh-keygen
　　进入目录：cd ~/.ssh/

　　拷贝公钥：cat>　　将slave1和slave2的id_rsa.pub复制到中，并复制给slave1和slave2：
　　scp -rp authorized_keys slave1:~/.ssh/
　　scp -rp authorized_keys slave2:~/.ssh/
　　启动Hadoop集群
　　37.进入hadoop-1.2.1/bin目录，启动Hadoop集群：
　　格式化：hadoop初始化   ./hadoop namenode -format
　　启动hadoop集群   ./start-all.sh
　　查看进程：jps