CDH5.10的安装手册（基于unubtu）

yyert

                                                CDH5.11的安装手册（基于unubtu）
                                                                                                              ( 张健 )
前言
CDH是Cloudera公司的Hadoop发行版，基于稳定版本的ApacheHadoop构建，包含Hadoop， Spark， Hive，Hbase 和一些工具等，并集成了很多补丁，可直接用于生产环境。通过Cloudera Manager 可以简化hadoop各组件的部署和配置过程。
目前 CDH 对 ubuntu支持的最高版本为 14.04，因此不要用更高版本的ubuntu来部署 CDH。

• 硬件准备
  一个3节点的集群，host文件对应关系如下：
  172.16.13.42       master
  172.16.13.43       node1
  172.16.13.44       node2
  
• 软件准备(下面文件我都放在各自的文件夹中，如下图所示）
  链接如下
  https://pan.baidu.com/s/1c2CfjDA    提取码: 2kem
  unubtu14.04（ubuntu-14.04.5-server-amd64.iso）
  jdk-8u121-linux-x64.tar.gz
  mysql-connector-java-5.1.41.tar.gz
  CDH-5.10.1-1.cdh5.10.1.p0.10-trusty.parcel
  CDH-5.10.1-1.cdh5.10.1.p0.10-trusty.parcel.sha
  （下面的phoenix可后面安装）
  CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-trusty.parcel
  CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-trusty.parcel.sha
  (下面文件夹里放的都是离线安装CDH需要的.deb包)
  Master节点需要安装的文件
  
  Node1和Node2需要安装的文件
  
  
• 系统环境搭建
  

(1).配置网络（所有节点）
修改hostname：
$ sudo vi  /etc/hostname
把主机名改为master

CDH5.11离线安装手册
修改IP地址
$ sudo vi /etc/network/interfaces
auto eth0
iface eth0 inet static
        address 172.16.13.42    ip地址
        netmask 255.255.255.0   子网掩码
        network 172.16.13.0
        broadcast 172.16.13.255
        gateway 172.16.13.254    网关
（一般只要改下ip地址即可，主节点的ip）
（把下面dns-nameservers 172.16.10.1去掉就断绝了与外网的相连做到了真正离线安装
我安装时去掉了下列这一行）

修改ip与主机名的对应关系
$ sudo vi /etc/hosts
172.16.13.42   master
172.16.13.43   node1
172.16.13.44   node2

重启网络
sudo ifdown eth0 && sudo ifup eth0
配置完最好重启一下，
重启命令 $ sudo reboot
(2).配置SSH(所有节点)
切换root登录($su root ,然后输入密码)
$ sudo vi  /etc/ssh/sshd_config
添加下列语句到里面
#PermitRootLogin without-password
PermitRootLogin yes

重启ssh 服务
$ sudo service ssh restart

$ sudo passwd root

设置ssh无密码登录(一般在主节点设置一下就可以了)
$ ssh-keygen -t rsa
//在主节点上执行一路回车，生成无密码的密钥对

$ ssh-copy-id node1

$ ssh-copy-id node2
测试：$ ssh node1 正常情况下，不需要密码就能直接登陆进去了
(3)安装Oracle JDK(所有节点)
将 jdk-8u121-linux-x64.tar.gz放到虚拟机目录的/home/user/下

$ cd  /usr/
进入到usr目录下，然后建一个java文件夹
$sudo mkdir java
最后解压
$ sudo tar -zxvf /home/user/jdk-8u121-linux-x64.tar.gz -C /usr/java/
配置环境变量，配置一个全局的JAVA_HOME变量
$ sudo vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_121
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=.:${JAVA_HOME}/bin:$PATH

$ source  /etc/profile
测试一下jdk有没有安装成功

(4)安装配置MySQL(主节点)
将上面的archives和mysql文件夹放到/home/user/下
(也可直接解压这三个一起deb_trusty_14.04(mysql+agent+server)/)
$ sudo dpkg -i -R ./archives/.deb(普通用户)(.表示当前文件夹)
$ sudo dpkg -i ./archives/.deb(root用户)
$ sudo dpkg -i   ../archivers/deb_trusty_14.04(mysql+agent+server)/archives/*.deb(root用户)

解压过程中设置mysql数据库root的初始密码(我的root用户密码是'szgwnet')
或者$ sudo mysqladmin -u root password 'szgwnet' 设置密码
启动mysql服务
$ sudo service mysql start
创建mysql数据库
$ mysql -uroot -pszgwnet
#hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#Hue
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#Oozie Server
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

设置root授权访问以上所有的数据库：
//授权root用户在主节点拥有所有数据库的访问权限
grant all privileges on . to 'root'@'master' identified by 'szgwnet' with grant option;
flush privileges;
配置 mysql connector 驱动
将 mysql-connector-java-5.1.41.tar.gz放在/home/user/下
$ sudo tar -zxvf /home/user/mysql-connector-java-5.1.41.tar.gz -C /usr/share/java/
cd /usr/share/java
$ sudo ln -s mysql-connector-java-5.1.41.jar mysql-connector-java.jar

(5)配置ntp服务(所有节点)
集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。
这里以namenode 节点作为ntp 服务器与外界对时中心同步时间，随后对其它所有节点提供时间同步服务。
Cloudera 建议所有 CDH节点都需要启动ntpd 服务,要不然会报“时钟偏差”的错误
同样将ntp文件夹放在/home/user/下
$ sudo dpkg -i -R ./ntp/*.deb
在配置之前，先使用ntpdate 手动同步一下时间(跟内网时间一样)_
$ sudo ntpdate -u 172.16.10.1
NTP 主要的配置文件为：/etc/ntp.conf
$ sudo vi /etc/ntp.conf
添加下列内容
设置用于校时的上层时间服务器server time.nist.gov
server 172.16.10.1
外部时间服务器不可用时，以本地时间作为时间服务server 127.127.1.0
fudge 127.127.1.0 stratum 10
允许上层时间服务器主动修改本机时间restrict time.nist.gov nomodify notrap noquery
restrict 172.16.10.1 nomodify notrap noquer

重启 NTP时间服务：
$ sudo service ntp restart
NTP 客户端配置主要将ntp server 指向管理节点：
$ sudo vi /etc/ntp.conf
//将server 指定为管理节点，添加如下内容
server master prefer

手动同步一下时间：
$ sudo ntpdate -u master
//一般需要等待5-10 分钟才可以正常同步
重启 NTP服务自动同步时间：
$ sudo service ntp restart
(6)配置本地硬盘(datanode所有节点)
这步可配可不配(所以跳过这一步)
(7)安装CM(Server/Agent):
同样将5.10.1_cm_agent和5.10.1_cm_server文件夹放到/home/user/下
1）.安装Cloudera Manager Server(主节点)
$ sudo dpkg -i -R ./5.10.1_cm_server/.deb
安装完成后
初始化Cloudera Manager的数据库
$ sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql cmf -hlocalhost -uroot -pszgwnet --scm-host localhost scm scm scm

2）.启动CM服务(主节点)
$ sudo service cloudera-scm-server start
$ sduo netstat -ntupl  |grep 71
第一次启动服务时间较长，cmf 数据库初始化，直到 7180 端口起来才启动完成

3）.安装Cloudera Manager Agent(所有节点)
$ sudo dpkg -i -R ./5.10.1_cm_agent/.deb

修改Agent配置文件
$ sudo vi /etc/cloudera-scm-agent/config.ini
server_host= master //主节点的主机名

4）.准备Parcels(离线部署CDH5)
将下载好的文件
   CDH-5.10.1-1.cdh5.10.1.p0.10-trusty.parcel
   CDH-5.10.1-1.cdh5.10.1.p0.10-trusty.parcel.sha
   CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-trusty.parcel
   CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-trusty.parcel.sha
放到/home/user/
再将这四个文件放到/opt/cloudera/parcel-repo/目录中(parcel-repo可能要自己建)

5） .Cloudera 建议将 /proc/sys/vm/swappiness 设置为 10 或者更低，当前设置为 60. 使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置.
（所有节点）
sudo vi /etc/sysctl.conf
添加下面这行数据
vm.swappiness = 10

sudo sysctl -p

4.通过CM部署Hadoop集群
（1）配置集群主机 Cloudera Manager
浏览器认管理账号： http://172.16.13.42:7180
User:admin
Password:admin
（2）按照下列图示步骤安装