hadoop-CDH版环境搭建（一）

qqruser

      目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hortonworks版本(Hortonworks Data Platform，简称“HDP”），对于国内而言，绝大多数选择CDH版本。
      搭建环境:CentOS6.5 + CDH5 + JDK7
      主：192.168.157.130  master
      从：192.168.157.131  slave1
      从：192.168.157.132  slave2
----------------------------------------------------------------------------------------------------
Step 1：关闭防火墙
a、查看防火墙是否关闭：
service iptables status
service ip6tables status
b、暂时关闭防火墙： 
service iptables stop
service ip6tables stop
c、永久关闭防火墙：
chkconfig iptables off
chkconfig ip6tables off
 
Step 2：关闭SELinux
a、查看SELinux状态：
/usr/sbin/sestatus –v 或 getenforce
vim /etc/selinux/config
或
vim /etc/sysconfig/selinux
将SELINUX=enforcing改为SELINUX=disabled 
 
Step 3：修改HostName
a、修改hostname：
vim /etc/sysconfig/network（主：master，从1：slave1，从2：slave2）
b、修改每台机器上的/etc/hosts文件：
192.168.157.130 master
192.168.157.131 slave1
192.168.157.132 slave2
 
Step 4：配置SSH免密码功能（master上root用户执行）
a、生成ssh的公共和私有密钥对：
ssh-keygen -t rsa 
生成的过程中提示输入密钥对保存位置，直接回车，接受默认值就行了。接着会提示输入一个不同于你的password的密码，直接回车，让它空着。当然，也可以输入一个。
其中，公共密钥保存在 ~/.ssh/id_rsa.pub 私有密钥保存在 ~/.ssh/id_rsa
b、将authorized_keys拷贝到其他几台Slave上：
（可能会出现权限问题，请确保关闭防火墙，且互相之间配置了主机信任）
scp ~/.ssh/authorized_keys root@slave1:~/.ssh/
scp ~/.ssh/authorized_keys root@slave2:~/.ssh/
c、三台主机重启，测试免密功能是否配置成功：
ssh slave1
ssh slave2
没有提示输入密码，就表示成功了，最后可以通过”exit”退出ssh
 
Step 5：安装JDK（请根据CDH版本选择对应JDK，本次安装采用JDK7）
a、下载：http://download.oracle.com/otn-pub/java/jdk/7u80-b15/jdk-7u80-linux-x64.rpm?AuthParam=1429246603_8aa70427655c0e6f2aeff14f0d731ab3
b、安装
rpm -ivh jdk-7u51-linux-x64.rpm
c、添加java环境变量
vim /etc/profile
d、在/etc/profile文件里添加以下内容：
JAVA_HOME=/usr/java/latest
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export JAVA_HOME CLASSPATH
e、最后执行source，是环境变量生效
source /etc/profile
 
Step 6：安装ntp服务（视具体情况）
hadoop集群对于时间同步非常严格，请查看本集群主机时钟是否同步，如已存在ntp同步服务，则可以跳过此步骤。
 
Step 7：创建hadoop用户
a、创建用户和组：（根据实际情况创建）
groupadd hdfs
useradd hadoop -g hdfs
passwd hadoop
b、赋予hadoop用户sudo权限：
visudo
c、添加如下内容：
hadoop            ALL=(ALL)                ALL