Hadoop分布式集群搭建完全详细教程

继吉

　　Hadoop分布式集群环境搭建步骤如下
　　实验环境：
　　系统：win7
　　内存：8G(因要开虚拟机，内存建议不低于8G)
　　硬盘：建议固态
　　虚拟机：VMware 12
　　Linux：Centos 7
　　jdk1.7.0_67
　　hadoop-2.5.0.tar.gz
　　1.安装VMware虚拟机环境
　　2.安装Centos操作系统
　　3.修改主机名配置网络
　　4.配置ssh无密码登录
　　5.上传jdk配置环境变量
　　6.上传hadoop配置环境变量
　　7.修改hadoop配置文件
　　8.格式化namenode
　　9.启动hadoop并测试
　　1安装VMware虚拟机环境
　　这一步很简单，直接下载安装包下一步，安装成功之后打开输入注册码
　　5A02H-AU243-TZJ49-GTC7K-3C61N
　　GA1T2-4JF1P-4819Y-GDWEZ-XYAY8
　　FY1M8-6LG0H-080KP-YDPXT-NVRV2
　　ZA3R8-0QD0M-489GP-Y5PNX-PL2A6
　　FZ5XR-A3X16-H819Q-RFNNX-XG2EA
　　ZU5NU-2XWD2-0806Z-WMP5G-NUHV6
　　VC58A-42Z8H-488ZP-8FXZX-YGRW8
　　2安装Centos操作系统
　　我这里安装了3台Linux，一台作为namenode，两台作为datanode，使用的是Centos7 64位，建议使用Centos，原因很简单，免费开源，属于重量级Linux,更接近生产环境，当然用其它版本也是可以的。
　　下载地址：http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso
　　安装过程很简单这里就不详述了。
　　还是要推荐下我自己创建的大数据学习交流Qun: 710219868 有大佬有资料， 进Qun聊邀请码填写 南风（必填 ）
　　有学习路线的分享公开课，听完之后就知道怎么学大数据了
　　3.修改主机名配置网络
　　namenode:master
　　datanode:slave1 slave2
　　执行以下命令
　　vi /etc/hostname
　　将localhost改为master
　　另外两台分别改为slave1和slave2
　　接着执行以下命令
　　vi /etc/hosts
　　将三台linux的ip和主机名加进去
　　192.168.149.138 master
　　192.168.149.139 slave1
　　192.168.149.140 slave2
　　以上地址根据自己主机填写
　　4配置ssh无密码登录
　　在master上执行以下命令
　　ssh-keygen
　　上一步执行完之后将会生成公钥和私钥
　　cd ~/.ssh
　　在.ssh目录执行ll命令会看到id_rsa和id-rsa.pub两个文件，第一个是私钥，第二个是公钥
　　然后执行
　　ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.149.139
　　ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.149.140
　　这样就把公钥拷到了另外两台linux上
　　然后测试是否成功
　　ssh 192.168.149.139
　　如果不要密码则配置成功
　　5 上传jdk配置环境变量
　　将jdk上传至centos
　　执行以下命令
　　tar -zxvf jdk1.7.0_67
　　vi /etc/profile
　　将Java环境变量配置好之后
　　source /etc/profile 让配置生效
　　查看是否配好
　　java -version
　　6上传hadoop配置环境变量
　　将hadoop安装包上传至centos
　　执行以下命令
　　tar -zxvf hadoop-2.5.0.tar.gz
　　mv hadoop-2.5.0.tar.gz hadoop 重命名
　　配置hadoop环境变量同Java。PATH路径分别为bin和sbin
　　查看是否成功
　　hadoop version
　　7修改hadoop配置文件
　　需要修改的文件有 hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml
　　yarn-site.xml
　　hadoop-env.sh
　　将JAVA_HOME路径添加进去
　　core-site.xml
　　
　　
　　fs.default.name
　　hdfs://master:9000
　　
　　
　　hadoop.tmp.dir
　　/usr/local/hadoop/tmp
　　
　　
　　1
　　2
　　3
　　4
　　5
　　6
　　7
　　8
　　9
　　10
　　hdfs-site.xml
　　
　　
　　dfs.replication
　　1
　　
　　
　　1
　　2
　　3
　　4
　　5
　　6
　　mapred-site.xml
　　
　　
　　mapreduce.framework.name
　　yarn
　　
　　
　　1
　　2
　　3
　　4
　　5
　　6
　　yarn-site.xml
　　
　　
　　yarn.resourcemanager.hostname
　　master
　　
　　
　　yarn.nodemanager.aux-services
　　mapreduce_shuffle
　　
　　
　　1
　　2
　　3
　　4
　　5
　　6
　　7
　　8
　　9
　　10
　　注意：配置完成后别忘了把master上的hadoop拷贝到slave1和slave2上，使用命令：scp -r /usr/local/haoop slave1:/usr/local/
　　8格式化namenode
　　执行以下命令
　　hadoop namenode -format
　　start-dfs.sh
　　start-yarn.sh
　　9启动hadoop并测试
　　master上执行以下命令测试
　　jps
　　如结果如下则表示搭建成功
　　ResourceManager
　　Jps
　　NameNode
　　NodeManager
　　SecondaryNameNode
　　slave1和slave2上执行以下命令测试
　　jps
　　NodeManager
　　DataNode
　　Jps
　　至此hadoop分布式集群环境搭建就成功了！