厚道 善良 守信 宽容 诚实 谦虚 正直 执着

posir

　　1         安装操作系统Centos 7 64位
　　192.168.1.4 Master.Hadoop

　　192.168.1.5 Slave.Hadoop

　　最小安装
　　2         ssh免密钥登陆
　　SSH免密码登录，因为Hadoop需要通过SSH登录到各个节点进行操作，我用的是root用户，每台服务器都生成公钥，再合并到authorized_keys
　　1）SSH无密码原理
　　Master（NameNode | JobTracker）作为客户端，要实现无密码公钥认证，连接到服务器Salve（DataNode | Tasktracker）上时，需要在Master上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到所有的Slave上。当Master通过SSH连接Salve时，Salve就会生成一个随机数并用Master的公钥对随机数进行加密，并发送给Master。Master收到加密数之后再用私钥解密，并将解密数回传给Slave，Slave确认解密数无误之后就允许Master进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。重要过程是将客户端Master复制到Slave上。
　　第一步 Master 到 Slave 上的ssh无密码连接
　　Master 里面操作
　　yum install ssh 安装SSH协议
　　yum install rsync （rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件）
　　yum install openssh-clients
　　systemctl restart sshd.service  (重启 sshd 服务)
　　mkdir ~/.ssh (root目录下)
　　chmod 700 ~/.ssh
　　ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa (这是生成其无密码密钥对:id_dsa和id_dsa.pub)
　　cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys (把id_dsa.pub追加到授权的key里面去 )
　　chmod 600 ~/.ssh/authorized_keys
　　scp -r ~/.ssh/id_dsa.pub root@192.168.1.5:~/ (需要输入密码)
　　getenforce
　　setenforce 0 (setenforce是Linux的selinux防火墙配置命令 执行setenforce 0 表示关闭selinux防火墙。)
　　修改配置文件vi /etc/sysconfig/selinux
　　编辑selinux文件
　　# This file controls the state of SELinux onthe system.
　　# SELINUX= can take one of these three values:
　　# enforcing - SELinux security policy isenforced.
　　# permissive - SELinux prints warnings insteadof enforcing.
　　# disabled - No SELinux policy is loaded.
　　SELINUX=enforcing
　　# SELINUXTYPE= can take one of these twovalues:
　　# targeted - Targeted processes are protected,
　　# mls - Multi Level Security protection.
　　SELINUXTYPE=targeted
　　修改为
　　# This file controls the state of SELinux onthe system.
　　# SELINUX= can take one of these three values:
　　# enforcing - SELinux security policy isenforced.
　　# permissive - SELinux prints warnings insteadof enforcing.
　　# disabled - No SELinux policy is loaded.
　　SELINUX=disabled
　　# SELINUXTYPE= can take one of these twovalues:
　　# targeted - Targeted processes are protected,
　　# mls - Multi Level Security protection.
　　SELINUXTYPE=targeted
　　systemctl restart sshd.service
　　在 Salve端执行
　　yum install ssh
　　yum install rsync
　　yum install openssh-clients
　　mkdir ~/.ssh
　　chmod 700 ~/.ssh
　　cat ~/id_dsa.pub >> ~/.ssh/authorized_keys
　　chmod 600 ~/.ssh/authorized_keys
　　systemctl restart sshd.service
　　验证
　　ssh 192.168.1.5 无密码登陆成功.
　　exit
　　第二步Slave  到Master上的ssh无密码连接(配置所有Slave无密码登录Master)
　　在Slave端执行

　　ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa (在Slave端生成了id_dsa >　　cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
　　chmod 600 ~/.ssh/authorized_keys
　　chmod 700 ~/.ssh
　　scp -r ~/.ssh/id_dsa.pub root@192.168.1.4:~/
　　getenforce
　　setenforce 0
　　vi /etc/sysconfig/selinux (修改同上)
　　systemctl restart sshd.service
　　在Master 端执行
　　cat ~/id_dsa.pub >> ~/.ssh/authorized_keys
　　chmod 600 ~/.ssh/authorized_keys
　　systemctl restart sshd.service
　　验证 ssh192.168.1.4 (在Slave端 )
　　3        jdk 配置
　　在Master端/usr/java 目录下上传文件jdk-8u11-linux-x64.tar
　　cd /usr/java
　　tar -xzvf jdk-8u11-linux-x64.tar.gz
　　在/etc/profile文件中，配置环境变量，是JDK在所有用户中生效：　　打开/etc/profile文件　　vi /etc/profile
　　编辑文件，在最后添加：
　　JAVA_HOME=/usr/java/jdk1.8.0_11
　　PATH=$JAVA_HOME/bin:$PATH
　　CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
　　export JAVA_HOME
　　export PATH

　　export>　　保存退出后，执行source /etc/profile是修改的环境变量生效
　　使用java -version命令测试是否成功
　　在Slave端操作jdk 与Master端操作一致
　　4 hadoop安装
　　参考http://www.open-open.com/lib/view/open1435761287778.html
　　安装Hadoop2.7，只在Master服务器解压，再复制到Slave服务器
　　(1)    下载“hadoop-2.7.2.tar.gz”，放到/home/hadoop目录下
　　(2)    解压，输入命令，tar -xzvf hadoop-2.7.2.tar.gz
　　(3)    在/home/hadoop目录下创建数据存放的文件夹，tmp、hdfs、hdfs/data、hdfs/name
　　(4)配置/home/hadoop/hadoop-2.7.2/etc/hadoop目录下的core-site.xml
　　<configuration>
　　<property>
　　<name>fs.defaultFS</name>
　　<value>hdfs://192.168.1.4:9000</value>
　　</property>
　　<property>
　　<name>hadoop.tmp.dir</name>
　　<value>file:/home/hadoop/tmp</value>
　　</property>
　　<property>
　　<name>io.file.buffer.size</name>
　　<value>131702</value>
　　</property>
　　</configuration>
　　(4)    配置/home/hadoop/hadoop-2.7.2/etc/hadoop 目录下的hdfs-site.xml
　　<configuration>
　　<property>
　　<name>dfs.namenode.name.dir</name>
　　<value>file:/home/hadoop/dfs/name</value>
　　</property>
　　<property>
　　<name>dfs.datanode.data.dir</name>
　　<value>file:/home/hadoop/dfs/data</value>
　　</property>
　　<property>
　　<name>dfs.replication</name>
　　<value>2</value>
　　</property>
　　<property>
　　<name>dfs.namenode.secondary.http-address</name>
　　<value>192.168.1.4:9001</value>
　　</property>
　　<property>
　　<name>dfs.webhdfs.enabled</name>
　　<value>true</value>
　　</property>
　　</configuration>
　　(5)    配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的mapred-site.xml
　　mv mapred-site.xml.template mapred-site.xml
　　vi mapred-site.xml
　　<configuration>
　　<property>
　　<name>mapreduce.framework.name</name>
　　<value>yarn</value>
　　</property>
　　<property>
　　<name>mapreduce.jobhistory.address</name>
　　<value>192.168.1.4:10020</value>
　　</property>
　　<property>
　　<name>mapreduce.jobhistory.webapp.address</name>
　　<value>192.168.1.4:19888</value>
　　</property>
　　</configuration>
　　(6)    配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的yarn-site.xml
　　<configuration>
　　<property>
　　<name>yarn.nodemanager.aux-services</name>
　　<value>mapreduce_shuffle</value>
　　</property>
　　<property>
　　<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
　　<value>org.apache.hadoop.mapred.ShuffleHandler</value>
　　</property>
　　<property>
　　<name>yarn.resourcemanager.address</name>
　　<value>192.168.1.4:8032</value>
　　</property>
　　<property>
　　<name>yarn.resourcemanager.scheduler.address</name>
　　<value>192.168.1.4:8030</value>
　　</property>
　　<property>
　　<name>yarn.resourcemanager.resource-tracker.address</name>
　　<value>192.168.1.4:8031</value>
　　</property>
　　<property>
　　<name>yarn.resourcemanager.admin.address</name>
　　<value>192.168.1.4:8033</value>
　　</property>
　　<property>
　　<name>yarn.resourcemanager.webapp.address</name>
　　<value>192.168.1.4:8088</value>
　　</property>
　　<property>
　　<name>yarn.nodemanager.resource.memory-mb</name>
　　<value>768</value>
　　</property>
　　</configuration>
　　(7)    配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME，不设置的话，启动不了，exportJAVA_HOME=/usr/java/jdk1.8.0_11
　　(8)    配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的slaves，删除默认的localhost，增加1个从节点，
　　192.168.1.5
　　(9) 将配置好的Hadoop复制到各个节点对应位置上，通过scp传送
　　scp -r /home/hadoop 192.168.1.5:/home/
　　(10)在Master服务器启动hadoop，从节点会自动启动，进入/home/hadoop/hadoop-2.7.0目录
　　A 初始化，输入命令，bin/hdfsnamenode -format
　　B 全部启动sbin/start-all.sh，也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh
　　C 停止的话，输入命令，sbin/stop-all.sh
　　D 输入命令，jps，可以看到相关信息
　　(11)、Web访问，要先开放端口或者直接关闭防火墙
　　A输入命令，systemctl stopfirewalld.service
　　B浏览器打开http://192.168.1.4:8088/

　　C浏览器打开http://192.168.1.4:50070/

　　(12) 安装完成。这只是大数据应用的开始，之后的工作就是，结合自己的情况，编写程序调用Hadoop的接口，发挥hdfs、mapreduce的作用。
　　参考:
　　http://www.iyunv.com/Linux/2015-11/124800.htm
　　http://www.centoscn.com/image-text/install/2014/1121/4158.html
　　http://www.open-open.com/lib/view/open1435761287778.html
　　http://www.centoscn.com/image-text/install/2016/0830/7859.html
　　附件下载