centos6.5下搭建cdh5.9.1-hadoop集群（完全离线安装）

xxggmmxx

　　说明：本次试验是在公司内网段采用完全离线的方式进行搭建。在安装之前，请安装好四台centos6.5。
　　安装环境(hadoop1为主节点)：

　　安装步骤：
　　一、文件下载
　　Cloudera Manager：cloudera-manager-el6-cm5.9.1_x86_64.tar.gz
　　CDH安装包：CDH-5.9.1-1.cdh5.9.1.p0.4-el6.parcel、CDH-5.9.1-1.cdh5.9.1.p0.4-el6.parcel.sha、manifest.json
　　JDBC连mysql驱动：mysql-connector-java-5.1.40-bin.jar
　　一共5个文件
　　(这里注意下，将.sha1文件后缀更改为.sha)
　　强烈建议：有条件的话，以下所有操作都在root下完成
　　二、准备工作：系统环境搭建
　　1.网络配置(所有节点)
　　修改主机名：vim /etc/sysconfig/network
　　修改ip与主机名的对应关系：vim /etc/hosts
　　133.21.254.147  hadoop1
　　133.21.254.159  hadoop2
　　133.21.254.160  hadoop3
　　133.21.254.162  hadoop4
　　修改网络配置,设置静态ip，以及指定ip地址
　　vim /etc/sysconfig/network-scripts/ifcfg-eth0
　　关闭SELinux：vi /etc/selinux/config
　　修改SELinux=disabled
　　关闭防火墙
　　sudo service iptables stop
　　sudo chkconfig iptables off
　　sudo chkconfig iptables --list
　　重启主机：
　　reboot
　　2.打通SSH，设置ssh无密码登陆（所有节点）
　　master节点执行：
　　cd ~/.ssh               # 如果没有该目录，先执行一次ssh localhost
　　rm ./id_rsa*            # 删除之前生成的公匙（如果有）
　　ssh-keygen -t rsa       # 一直按回车就可以
　　cat ./id_rsa.pub >> ./authorized_keys
　　chmod 600 ~/.ssh/authorized_keys
　　scp ~/.ssh/authorized_keys root@Slave1:~/.ssh/
　　3.安装Oracle的Java（所有节点）
　　rpm -qa | grep java
　　使用rpm -e 包名卸载
　　rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
　　rpm -e --nodeps tzdata-java-2013g-1.el6.noarch
　　rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
　　上传新的jdk-8u121-linux-x64.rpm软件到/usr/local/
　　cd /usr/local
　　rpm -ivh jdk-8u121-linux-x64.rpm
　　vi /etc/profile
　　#java
　　export JAVA_HOME=/usr/java/jdk1.8.0_121  
　　export PATH=$JAVA_HOME/bin:$PATH  

　　export>　　source /etc/profile
　　4.安装配置MySql（主节点）
　　参考：http://www.iyunv.com/Linux/2015-01/111413.htm
　　rpm -qa | grep -i mysql
　　卸载：rpm -e --nodeps 包名
　　上传mysql文件夹到CentOS中解压
　　tar xvf MySQL-5.6.36-1.el6.x86_64.rpm-bundle.tar
　　rpm -i MySQL-shared-compat-5.6.36-1.el6.x86_64.rpm
　　rpm -qa | grep -i mysql
　　yum remove mysql-libs
　　rpm -ivh  MySQL-server-5.6.21-1.el6.i686.rpm
　　rpm -ivh  MySQL-client-5.6.21-1.el6.i686.rpm
　　more /root/.mysql_secret   #获得root随机密码
　　service mysql start
　　/usr/bin/mysql_secure_installation   #一路yes
　　chkconfig mysql on
　　chkconfig
　　进入mysql命令行，创建以下数据库：
　　mysql -u root -p123456
　　create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
　　create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
　　create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
　　create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

　　grant all privileges on *.* to 'root'@'%'>　　flush privileges;
　　5.所有节点配置NTP服务（所有节点）
　　service ntpd start
　　chkconfig ntpd on
　　检查是否设置成功：chkconfig --list ntpd其中2-5为on状态就代表成功
　　主节点配置（master节点）
　　vi /etc/ntp.conf
　　修改配置文件如下：
　　driftfile /var/lib/ntp/drift
　　restrict default kod nomodify notrap nopeer noquery
　　restrict -6 default kod nomodify notrap nopeer noquery
　　restrict 127.0.0.1
　　restrict 133.21.254.1/24 mask 255.255.255.0 nomodify
　　restrict -6 ::1
　　includefile /etc/ntp/crypto/pw
　　server  127.127.1.0     # local clock
　　fudge   127.127.1.0 stratum 10
　　keys /etc/ntp/keys
　　重启ntp服务：service ntpd restart
　　检查是否成功，用ntpstat命令查看同步状态，出现以下状态代表启动成功：
　　synchronisedto
　　NTP server () at
　　stratum 2time
　　correct towithin74
　　mspolling server every 128
　　s
　　其他所有节点配置（所有节点执行）：
　　vi /etc/ntp.conf
　　修改配置文件如下：
　　driftfile /var/lib/ntp/drift
　　restrict default kod nomodify notrap nopeer noquery
　　restrict -6 default kod nomodify notrap nopeer noquery
　　restrict 127.0.0.1
　　restrict -6 ::1
　　server 133.21.254.147
　　includefile /etc/ntp/crypto/pw
　　keys /etc/ntp/keys
　　手动同步：ntpdate -u hadoop1
　　重启ntp服务：service ntpd restart
　　检查是否成功，用ntpstat命令查看同步状态
　　三、开始安装Cloudera Manager
　　主节点解压安装：
　　拷贝cloudera-manager-el6-cm5.9.1_x86_64.tar.gz， 放到/opt中
　　tar xzvf cloudera-manager-el6-cm5.9.1_x86_64.tar.gz
　　拷贝mysql-connector-java-5.1.40-bin.jar，放到/opt/cm-5.9.1/share/cmf/lib/中
　　在主节点初始化CM5的数据库：
　　/opt/cm-5.9.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop1 -uroot -p123456 --scm-host hadoop1 scm scm scm
　　修改/opt/cm-5.7.1/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名
　　准备Parcels，用以安装CDH5 ：
　　将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（parcel-repo需要手动创建）。 相关的文件如下：
　　CDH-5.9.1-1.cdh5.9.1.p0.4-el6.parcel
　　CDH-5.9.1-1.cdh5.9.1.p0.4-el6.parcel.sha
　　manifest.json
　　启动相关脚本：
　　/opt/cm-5.9.1/etc/init.d/cloudera-scm-server start（主节点执行）
　　/opt/cm-5.9.1/etc/init.d/cloudera-scm-agent start（所有节点执行）
　　安装到此处，可以考虑备份节点，为将来的节点拓展做准备。
　　四、CDH5的安装配和集群配置
　　http://133.21.254.147:7180
　　安装hive服务之前：
　　拷贝mysql-connector-java-5.1.40-bin.jar，到/opt/cloudera/parcels/CDH-5.9.1-1.cdh5.9.1.p0.4/jars/中
　　ln -s /opt/cloudera/parcels/CDH-5.9.1-1.cdh5.9.1.p0.4/jars/mysql-connector-java-5.1.40-bin.jar /opt/cloudera/parcels/CDH-5.9.1-1.cdh5.9.1.p0.4/lib/hive/lib/mysql-connector-java-5.1.40-bin.jar
　　ln -s /opt/cloudera/parcels/CDH-5.9.1-1.cdh5.9.1.p0.4/jars/mysql-connector-java-5.1.40-bin.jar /opt/cloudera/parcels/CDH-5.9.1-1.cdh5.9.1.p0.4/lib/oozie/lib/mysql-connector-java-5.1.40-bin.jar
　　安装oozie之前：
　　ln -s /opt/cloudera/parcels/CDH-5.9.1-1.cdh5.9.1.p0.4/jars/mysql-connector-java-5.1.40-bin.jar /var/lib/oozie/mysql-connector-java-5.1.40-bin.jar
　　然后按照http://133.21.254.147:7180页面提示进行集群的配置（这里要注意各个hadoop组件对应的数据库的选择，这里有坑，请注意！）。
　　至此，集群配置完成。