33-hadoop

trzxycx

http://www.aboutyun.com/thread-9219-1-1.html  非常强大的博客 ! ! !

1, cdh简介
　　CDH (Cloudera’s Distribution, including Apache Hadoop)，是hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。
　　Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。

目前集群的乱象:
　　1, 版本管理混乱
　　2, 部署升级复杂
　　3, 兼容性差
　　4, 安全性低

Hadoop的发行版:
　　apache hadoop
　　CDH: 是hadoop分支的一种, 由Cloudera维护, 基于web的用户界面
　　HDP: 一个虚拟机
　　MapR: linux指令
　　EMR: 集群脱管方案, 应用较少

Cloudera的CDH和Apache的Hadoop的区别
　　

  目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hortonworks版本(Hortonworks Data Platform，简称“HDP”），对于国内而言，绝大多数选择CDH版本，CDH和Apache版本主要区别如下：　　

　　
(
1) CDH对Hadoop版本的划分非常清晰，只有两个系列的版本，分别是cdh3和cdh4，分别对应第一代Hadoop（Hadoop 1.0）和第二代Hadoop（Hadoop 2.0），相比而言，Apache版本则混乱得多；比Apache hadoop在兼容性，安全性，稳定性上有增强。　　

　　
(
2)CDH3版本是基于Apache  hadoop  0.20.2改进的，并融入了最新的patch，CDH4版本是基于Apache hadoop 2.X改进的,CDH总　　
是并应用了最新Bug修复或者Feature的Patch，并比Apache hadoop同功能版本提早发布，更新速度比Apache官方快。
　　

　　
(
3)安全 CDH支持Kerberos安全认证，apache hadoop则使用简陋的用户名匹配认证　　

　　
(
4)CDH文档清晰，很多采用Apache版本的用户都会阅读CDH提供的文档，包括安装文档、升级文档等。　　

　　
(
5)CDH支持Yum/Apt包，Tar包，RPM包，CM安装，Cloudera Manager三种方式安装,Apache hadoop只支持Tar包安装。　　http://www.aboutyun.com/thread-9225-1-1.html
　　


cdh结构图:

cdh优点:
　　版本清晰
　　版本更新速度快
　　支持Kerberos认证
　　文档清晰
　　支持多种安装方式 (Cloudera manager)
　　简单来说, cdh是为了简化集群部署, 最优升级方案,
　　http://www.aboutyun.com/thread-6788-1-1.html

2, Cloudera manager
　　是一个管理cdh端到端的应用, 作用: 管理, 监控, 诊断, 集成

　　server功能:
　　客户端服务器和应用服务器键的逻辑
　　软件安装和配置
　　各项服务的管理, 启动停止, 监控整个集群
　　agent:
　　每个服务进程管理
　　监控主机
　　数据库, 为region-server提供数据库支撑
　　management_server:
　　监控集群状态
　　生成报表

3, cdh搭建前期准备

1, 准备3台虚拟机
　　master占用会非常大, 建议6g内存以上, 其他2台2g内存即可
　　修改主机名: /etc/sysconfig/network,   为 node1, node2, node3

2, 设置3台机器的免密码登录
　　3台机器分别设置, 同时对自己免密码登录
　　http://www.cnblogs.com/wenbronk/p/6628993.html

3, 防火墙关闭
　　

　　service iptables stop　　
　　chkconfig iptables off
　　


4, 安装jdk, 这儿使用的 jdk1.7
　　JDK一定要解压到/usr/java/default下面，即JAVA_HOME= /usr/java/default, 否则CDH的后续安装将会报错
　　环境变量配置:
　　

export JAVA_HOME=/usr/java/default　　
export JRE_HOME
=/usr/java/default/jre　　
export>=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH　　
export PATH
=$JAVA_HOME/bin:$PATH　　


5, 设置3台机器的时间同步 　　
　　

ntpdate -u ntp.api.bz　　


6, 设置selinux关闭, 重启生效
　　

　　vim /etc/selinux/config　　
　　SELINUX
=disabled   (原始值为: enforcing)　　


7, 安装mysql ( 本次安装node1, 可搭建专门mysql服务器, 版本5.5 , 版本对应关系可查官网 )
　　http://www.cnblogs.com/wenbronk/p/6840484.html

8, 安装3rd 依赖包

3, 内核修改:  (所有节点)

1, 句柄设置
　　通过 ulimit -n 查看文件句柄,
　　

vim /etc/security/limits.conf　　

　　
# 添加如下内容
　　

*           soft  nproc  65535　　
*           hard  nproc  63535
　　
*           soft  nofile  65535
　　
*           hard  nofile  65535
　　

　　然后
　　

vim /etc/security/limits.d/90-nproc.conf　　

　　
# 修改为:
　　

*          soft    nproc     65535　　
root       soft    nproc     unlimited
　　


2, 修改内核参数
　　

# echo 0 > /proc/sys/vm/swappiness　　
# echo never
> /sys/kernel/mm/redhat_transparent_hugepage/defrag　　


3, 修改编码集
　　

# vim /etc/sysconfig/i18n　　
LANG
="en_US.UTF-8"　　
SYSFONT
="latarcyrheb-sun16"　　


4, cloudera manager的安装

1, 解压安装包 (3台机器)
　　

mkdir /opt/cloudera-manager　　
tar
-zxvf cloudera-manager*.tar.gz -C /opt/cloudera-manager　　


2, 创建用户 (所有节点)
　　

useradd --system --home=/opt/cloudera/cm-5.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm　　


3, 配置CM Agent (所有 agent 端)
　　

cd /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent　　vim ./config.ini
　　# 修改 server_host=node1
　　


4, 配置 CM server 数据库(master 或者单独的服务器)
　　默认到 usr/share/java/ 目录下寻找jar, 包名一定为  mysql-connector.jar
　　

cp ~/cloudera-manager/mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar　　

　　创建支撑库:
　　

grant all on *.* to 'scm'@'%'>
　　/opt/cloudera-manager/cm-5.4.3/share/cmf/schema/scm_prepare_database.sh mysql temp -h 192.168.208.110 -uroot -p123 --scm-host 192.168.208.110 scm scm scm
　　

　　格式: 数据库类型, 数据库名, host,  用户名, 密码, cm Server 服务器, 最后3个: 默认账户及数据库名

5, 修复安装包 bug, BUG会导致在集群安装YARN时失败 ( 所有节点)
　　

# vim /opt/cloudera-manager/cm-5.4.3/lib64/cmf/agent/src/cmf/util.py    --该文件第365行　　
pipe
= subprocess.Popen(['/bin/bash','-c',". %s; %s; env"%(path, command)],　　
stdout
=subprocess.PIPE, env=caller_env)　　
改成
　　
pipe
= subprocess.Popen(['/bin/bash','-c',". %s; %s; env | grep -v { | grep -v }"%(path, command)],　　
stdout
=subprocess.PIPE, env=caller_env)　　


6, 创建 Parcel 目录
　　server端:
　　

mkdir -p /opt/cloudera/parcel-repo　　chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
　　

　　agent
　　

mkdir -p /opt/cloudera/parcels　　

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels　　

　　因为安装时 需要存放 cdh的安装目录, 默认分发目录就是 parcels

6, 制作 CDH 本地源, 不制作需要从云下载, 非常非常慢...
　　

-rw-r--r-- 1 root root 1272629458 Mar  5 17:26 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel　　

-rw-r--r-- 1 root root         41 Mar  5 17:03 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha　　-rw-r--r-- 1 root root      42625 Mar  5 17:02 manifest.json
　　

　　将其拷贝到 /opt/cloudera/parcel-repo
　　

cp -v ~/cloudera-manager/CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel* /opt/cloudera/parcel-repo/　　

　　
cp -v
~/cloudera-manager/manifest.json /opt/cloudera/parcel-repo/　　

　　注意文件名:!!!!!!!!!!!!!!!!!!!!!!

7, 启动 server, agent,
　　

cd /opt/cloudera-manager/cm-5.4.3/etc/init.d　　
# 先启动server, 等server启动后, 在启动agent
　　
.
/cloudera-scm-server start　　

　　
.
/cloudera-scm-agent start　　

　　启动成功后, 在网页可访问: cdh-01:7180

8, 日志查看
　　在 /opt/cloudera-manager/cm-5.4.3/log 下可看
　　注意, 如果启动过程中终止, 需要把前面的重新来一遍

5, 界面设置
　　1, 网页访问: 192.168.208.110:7180

　　2, 选择版本

　　3, 继续, 继续, 选择本地源的版本, 5.4.0
　　4, 选择安装的主机

　　5, 集群安装

　　6, 检验正确性,

　　此步如果没有之前的内核数据修改, 会报错, 修改了即可
　　

echo 0 > /proc/sys/vm/swappiness　　

　　7, 选择需要的服务

　　8, 集群设置, 默认即可
　　9, 数据库设置, 需要提前创建 hive库和 Oozie库

　　建库脚本:
　　

create database hive default character set utf8;　　
grant all on hive.
* to 'hive'@'%'>
　　
create database oozie
default character set utf8;　　
grant all on oozie.
* to 'oozie'@'%'>　　

　　最后等待安装结束
　　关于安装错误, 卸载的: http://blog.csdn.net/wulantian/article/details/42706777