Centos-6.5安装CDH-5.9.0教程

0987iu

本文是为了帮助想以Cloudera搭建自己大数据管理和运行平台的朋友，由于Cloudera有多种安装方式，经过多次的尝试和研究，本文介绍的是其中一种更容易安装成功的方式，供大家参考。
Cloudera的介绍可参考官方文档 cloudera介绍 包含cloudera的各个工程项目，这里就不再细说，直接进入正题。
一、准备工作
1、下载CDH相关文件

Cloudera Manager ：http://archive.cloudera.com/cm5/ ... 5.9.0_x86_64.tar.gz
CDH安装包： http://archive.cloudera.com/cdh5 ... .0.p0.23-el6.parcel
                       http://archive.cloudera.com/cdh5 ... .23-el6.parcel.sha1
                       http://archive.cloudera.com/cdh5/parcels/5.9.0/manifest.json
myslq连接jar：http://download.softagency.net/M ... tor-java-5.1.40.zip
CDH安装的RPM包：http://archive.cloudera.com/cm5/ ... /5.9.0/RPMS/x86_64/

---

2、安装Centos6.5
关闭selinux： 命令：vim /etc/selinux/config   修改为 SELINUX=disabled
卸载自带openJdk（CDH不支持openjdk）：
[iyunv@server1 ~]# rpm -qa | grep jdk     \\查询系统自带jdk
java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
[iyunv@server1 ~]# yum -y remove java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64  \\卸载自带jdk

[iyunv@server1 ~]# yum -y remove java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64   \\卸载自带jdk
安装oracle jdk
下载oracle jdk
http://www.oracle.com/technetwor ... nloads-2133151.html
[iyunv@server1 .ssh]# tar xzvf /usr/local / jdk-8u121-linux-x64.tar.gz   \\解压
[iyunv@server1 .ssh]# vi /etc/profile 配置环境变量

export JAVA_HOME=/usr/local/jdk1.8
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

[iyunv@server1 .ssh]# source /etc/profile
关闭防火墙：
[iyunv@server1 ~]# service iptables stop \\即时生效
[iyunv@server1 ~]# chkconfig iptables off \\重启生效
修改主机名
[iyunv@server1 ~]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=server1   \\hostname 为主机名
修改hosts
[iyunv@server1 ~]# vi /etc/hosts
192.168.1.31 server1
192.168.1.32 server2
192.168.1.33 server3
配置ssh免密码登录
\\主机执行
[iyunv@server1 ~]# ssh-keygen -t rsa  \\回车键到结束

[iyunv@server1 .ssh]# cd /root/.ssh/
[iyunv@server1 .ssh]# ls
id_rsa id_rsa.pub known_hosts

[iyunv@server1 .ssh]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[iyunv@server1 .ssh]# ls
authorized_keys id_rsa id_rsa.pub known_hosts

\\分发到各子机
[iyunv@server1 .ssh]# scp /root/.ssh/authorized_keys root@server2:/root/.ssh/   
root@server2's password:
authorized_keys

配置ntp服务

\\所有节点执行
[iyunv@server1 .ssh]# yum install ntp
[iyunv@server1 .ssh]# chkconfig ntpd on  \\设置开机启动
[iyunv@server1 .ssh]# chkconfig --list ntpd \\检查是否设置成功  与系统基本相同的为“启动”

\\主机同步中心时间  阿里云时钟服务
[iyunv@server1 .ssh]# ntpdate -u ntp1.aliyun.com
【主机ntp服务配置】
[iyunv@server1 .ssh]# vi /etc/ntp.conf
修改为
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
server ntp1.aliyun.com prefer
#broadcast 192.168.1.255 autokey
\\启动ntp服务
[iyunv@server1 .ssh]# service ntpd start
【子机ntp配置】
[iyunv@server2 .ssh]# vi /etc/ntp.conf
修改server为主机的ip
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
server 192.168.1.31
#broadcast 192.168.1.255 autokey

---

ntp服务配置完成  可以用 date命令查看时间是否一致

在主节点（本次是server1）安装mysql
参考rpm包方式安装mysql：http://3126597.blog.iyunv.com/3116597/1893213
二 安装clourdera-manage
【主机操作】
将cloudera-manager-el6-cm5.9.0_x86_64.tar.gz放至/opt
tar xzvf cloudera-manager*.tar.gz  \\在opt目录下执行解压
将mysql-connector-java-5.1.40-bin.jar拷贝至/opt/cm-5.9.0/share/cmf/lib
将mysql-connector-java-5.1.40-bin.jar拷贝至/usr/share/java 并重新命名为mysql-connector-java.jar（有时包jdbc驱动找不到一般是此步骤未做）
初始化mysql库
[iyunv@server1 cm-5.9.0]# /opt/cm-5.9.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm
这时我们登录mysql可以看到已经有个CM库了

创建用户（所有节点执行）
[iyunv@server1 cm-5.9.0]# useradd --system --home=/opt/cm-5.9.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

Agent配置
[iyunv@server1 cloudera-scm-agent]# vi /opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini
\\将server_host 改为主节点主机名
server_host=server1

将Agent分发到各子节点
[iyunv@server1 cloudera-scm-agent]# scp -r /opt/cm-5.9.0/ root@server2:/opt/
[iyunv@server1 cloudera-scm-agent]# scp -r /opt/cm-5.9.0/ root@server3:/opt/

将parcel文件放至/opt/cloudera/parcel-repo
三个文件：CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel
                CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1
                manifest.json
将 CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1 重命名为 CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha

---

安装RPM包
主机安装安装所有RPM包
在rpm包路径下执行
[iyunv@server1 cdh-rpm]# yum install *.rpm
在这里如果提示mysql版本冲突则需要执行以下命令升级mysql源
rpm -Uvh http://repo.mysql.com/mysql-community-release-el6-5.noarch.rpm
如果是用yum 安装的mysql 此处用yum安装不会存在版本冲突问题
在所有子机安装rpm包
cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64.rpm
cloudera-manager-daemons-5.9.0-1.cm590.p0.249.el6.x86_64.rpm
将这两个文件拷贝到子机目录下 在该目录下执行
[iyunv@server3 cdh-rpm]# yum install *.rpm
关闭server开机启动

[iyunv@server1 init.d]# chkconfig cloudera-scm-server off

启动server，server启动方式为
[iyunv@server1 init.d]# /opt/cm-5.9.0/etc/init.d/cloudera-scm-server start
启动agent（所有节点）
[iyunv@server1 init.d]# service cloudera-scm-agent start

至此 cloudera manage 安装完毕

---

在浏览器输入http://192.168.1.31:7180/  ip为主机ip
用户名密码都为 admin

选择接受，按步骤到主界面，这时未添加集群，也未安装任何服务，首先添加集群，勾选主机，进入如下界面

集群机器添加完毕后到选择安装的服务处，此处为第一次安装的时候可以选一组的服务，也可跳过此步，后续在集群中单独安装每个服务，但在安装的时候得手动选择服务依赖关系。

cloudera manage有非常强大丰富的管理、监控、诊断、集成功能，其管理界面的用户交互性等都非常不错，具有较高的学习研究价值。

以上介绍了CDH的安装过程，对于Cloudera Manage管理页面操作有问题的朋友请留言