Hadoop集群监控系统Ambari安装

yxsailing

Hadoop集群监控系统Ambari安装

原创文章，转载请注明出处 http://qingtangpaomian.iyunv.com/blog/1671305

1. 写在前面
　　Ambari是Apache的一个开源项目，旨在提供一个Hadoop集群安装、管理、配置、监控的一体化工具。Ambari使用了开源项目hmc完成hadoop的安装功能 ， 在监控方面则使用了ganglia和nagios两个开源项目。
　　本人在安装ambari的过程中遇到了种种问题，特别写博客记录下来，给大家参考。
　　注意 ：本文当中的所有操作，建议以root账户执行。
2. Ambari安装
2.1 Step1 - 获取Ambari
1. 从SVN获取代码
# svn checkout http://svn.apache.org/repos/asf/incubator/ambari/trunk ambari
2. 将源代码打包为rpm包
　　使用rpm打包工具将ambari源代码打包 ： 
# yum install rpm-build
# cd hmc/package/rpm
# ./create_hmc_rpm.sh
# cd mon_dashboard/package/rpm
# ./create_dashboard_rpm.sh
　　注意 ： 这些步骤执行完成后，会在下面的路径中发现对应的rpm包，这些包就是ambari各组件对应的安装包。
　　1) hmc/package/rpm/build/rpmbuild/RPMS/noarch/ambari-1.0.0-1.noarch.rpm
　　2) hmc/package/rpm/build/rpmbuild/RPMS/noarch/ambari-agent-1.0.0-1.noarch.rpm
　　3) mon_dashboard/package/rpm/build/rpmbuild/RPMS/noarch/hdp_mon_dashboard-0.0.1-2.noarch.rpm
2.2 Step2 - 安装Ambari Master Server
　　注意 ： Ambari使用的是master - slaver 的这种结构，在集群中有一个节点作为master server节点，而其他节点作为slaver，听从master节点的调度。在安装之前，需要读者对从集群当中选择一个节点作为ambari master节点。
1. 安装前的准备
　　在安装ambari之前，需要做一下两件事情
　　1) : 配置Ambari Master到其他所有Slaver的 password-less SSH（参考以下内容）
1.  Run on ambary master: % ssh-keygen -t dsa

2.  Copy pubkey to each nodes:
Scp ~/.ssh/id_dsa.pub  root@<each node IP>:/.ssh/authorized_keys

3.  Back up id_dsa, this will be as private key when you want to launch Ambari install Hadoop clusters.

Note: you might need create .ssh folder on each node manually.
　　2) : 关闭防火墙
# service iptables stop
2. 安装Ambari Server依赖模块
　　注意 ： Ambari server对puppet , ruby , passenger , httpd等模块有依赖，所以在安装ambari server需要先安装依赖模块。
　　a. 先在本机添加yum仓库，包括redhat, hontworks以及passenger的仓库 ：
$ rpm -Uvh http://dl.fedoraproject.org/pub/epel/5/x86_64/epel-release-5-4.noarch.rpm
　　如果是i386则执行以下操作：
# rpm -Uvh http://dl.fedoraproject.org/pub/epel/5/i386/epel-release-5-4.noarch.rpm
# rpm -Uvh http://passenger.stealthymonkeys.com/rhel/5/passenger-release.noarch.rpm
# rpm -Uvh http://public-repo-1.hortonworks.com/HDP-1.0.1.14/repos/centos5/hdp-release-1.0.1.14-1.el5.noarch.rpm
　　b. 安装php模块
# yum install php-pecl-json  # version 1.2.1 compatible with php-5.1 or php-5.2
#  yum install php-pdo
#  php -m | grep posix
　　如果posix模块没有找到，则执行以下操作
# yum install php-process
　　c. 执行以下操作，安装Ambari master主要依赖
# yum install pdsh
#  yum install httpd-devel
#  yum install mod_passenger
#  yum install puppet-2.7.9
#  yum install ruby-devel
3. 安装Ambari master
# rpm -iv ambari-1.0.0-1.noarch.rpm 
#  rpm -iv hdp_mon_dashboard-0.0.1-2.noarch.rpm
2.3 Step3 - 安装Ambari Agent
1. 安装依赖（这里同Ambari Server完全相同）
　　a. 先在本机添加yum仓库，包括redhat, hontworks以及passenger的仓库 ：
# rpm -Uvh http://dl.fedoraproject.org/pub/epel/5/x86_64/epel-release-5-4.noarch.rpm
　　如果是i386则执行以下操作：
# rpm -Uvh http://dl.fedoraproject.org/pub/epel/5/i386/epel-release-5-4.noarch.rpm
# rpm -Uvh http://passenger.stealthymonkeys.com/rhel/5/passenger-release.noarch.rpm
# rpm -Uvh http://public-repo-1.hortonworks.com/HDP-1.0.1.14/repos/centos5/hdp-release-1.0.1.14-1.el5.noarch.rpm
　　b. 安装php模块
# yum install php-pecl-json # version 1.2.1 compatible with php-5.1 or php-5.2
# yum install php-pdo
# php -m | grep posix
　　如果posix模块没有找到，则执行以下操作
# yum install php-process
　　c. 执行以下操作，安装Ambari 主要依赖
# yum install pdsh
# yum install httpd-devel
# yum install mod_passenger
# yum install puppet-2.7.9
# yum install ruby-devel
2. 安装Ambari Agent
# rpm -Uvh ambari-agent-1.0.0-1.noarch.rpm
2.4 Step4 - 启动Ambari
1. 启动Ambari Server
　　a) 从网址

 

http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u26-download-400750.html 下载以下的三个文件，拷贝到ambari master所在机器的路径

/var/run/hmc/downloads/ 下

　　1) jdk-6u26-linux-x64.bin
　　2) jdk-6u26-linux-i586.bin
　　3) jce_policy-6.zip
　　b) 启动Ambari Master
# service ambari start
2. 启动Ambari Agent
# service ambari-agent start
3. 从Web界面访问Ambari服务
　　搭建完成Ambari服务后，就可以通过以下Web地址访问Ambari服务 http://AMBARIMASTER/hmc/html/，如果能够成功访问，则搭建成功。