通过ambari安装hadoop集群（一）

wushi

　　之前一直用的开源社区的版本，最近突然想到找一个好的商业版本用着，然后一直使用，然后就定上了hdp和cdh，都装上去了，但是cdh使用难度太大了，和开源版本的差距比较大，api不会使用，需要学它的cdk。hdp和开源版差不多，也是经过了优化了的，也是开源的，有一个管理界面，比社区版要好，这个安装过程废了很大的劲儿才搞成功的，发出来跟大家分享一下。
　　hdp的安装折腾了好久，它的下载地址网址不像CDH那么难找，不过它的设置相对CDH简单很多，一键式安装，而且都是免费的软件。
　　1.首先要下载它们的安装包，别尝试着在yum来下，特别慢，最好的方式是通过建立本地资源的方式来安装。
　　http://public-repo-1.hortonworks.com/HDP/centos6/HDP-1.3.0.0-centos6-rpm.tar.gz
　　http://s3.amazonaws.com/public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.16/repos/centos6/HDP-UTILS-1.1.0.16-centos6.tar.gz
　　http://public-repo-1.hortonworks.com/ambari/centos6/ambari-1.2.5.17-centos6.tar.gz
　　2.建立本地资源库 在var/www/html下建立一个hdp目录，如果没有的请先安装httpd yum install httpd，把下到的三个文件解压完毕之后，复制到hdp目录下，然后重启httpd服务，用下面三个repo文件里面的baseurl地址来测试一下是否可以通过网址访问了，然后准备三个文件，hdp.repo，ambari.repo，hdp-util.repo 不要按照官方说的那个做，那个是会报错的，我把我的放出来，大家自己照着弄，修改一下地址就行，然后把这三个文件复制集群中的所有机器的/etc/yum.repos.d/目录下
　　下面我发一下他们的内容
　　hdp.repo





[HDP-1.3.0.0]
name=Hortonworks Data Platform Version - HDP-1.3.0.0
baseurl=http://192.168.1.133/hdp/HDP/centos6/1.x/GA/1.3.0.0
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-UTILS-1.1.0.16]
name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.16
baseurl=http://192.168.1.133/hdp/HDP-UTILS-1.1.0.16/repos/centos6
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
View Code 　　ambari.repo





[HDP-UTILS-1.1.0.16]
name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.16
baseurl=http://192.168.1.133/hdp/HDP-UTILS-1.1.0.16/repos/centos6
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[ambari-1.2.5.17]
name=ambari-1.2.5.17
baseurl=http://192.168.1.133/hdp/ambari/centos6/1.x/updates/1.2.5.17
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
View Code 　　hdp-util.repo





[HDP-UTILS-1.1.0.16]
name=Hortonworks Data Platform Version - HDP-UTILS-1.1.0.16
baseurl= http://192.168.1.133/hdp/HDP-UTILS-1.1.0.16/repos/centos6
gpgcheck=1
enabled=1
priority=1
View Code 　　
　　3.安装之前的准备工作
　　（1）设置ssh自动登陆，这个参照我写的另外一篇ssh自动登陆的那个去做就行，网址是http://www.iyunv.com/cenyuhai/p/3280668.html
　　（2）设置ntpd自动启动，所有机器



chkconfig --level 5 ntpd on      
service ntpd start
　　(3)禁用selinux，所有机器  
　　vi /etc/sysconfig/selinux 设置selinux=disabled  
　　(4)设置时间同步，所有机器



cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime  #设置时区为北京时间，这里为上海，因为centos里面只有上海。。。   
ntpdate us.pool.ntp.org  #时间同步
　　没有安装ntpdate的可以yum一下    yum install -y ntpdate   
　　加入定时计划任务，每隔10分钟同步一下时钟   
　　crontab -e   
　　把下面的内容粘贴进去保存即可



0-59/10 * * * * /usr/sbin/ntpdate us.pool.ntp.org | logger -t NTP
　　(5)修改/etc/hosts文件，所有机器，设置如下:



192.168.1.133 hadoop.Master
192.168.1.134 hadoop.SlaveT1
192.168.1.135 hadoop.SlaveT2
　　
4.修改配置文件,所有机器



yum install yum-plugin-priorities
vi /etc/yum/pluginconf.d/priorities.conf
#设置为以下内容
[main]
enabled=1
gpgcheck=0
　　
5.安装自定义的mysql服务
　　yum install -y mysql-server
　　安装完成之后用root账户登陆，执行下列命令



create database hive ;
grant all on hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';
create database oozie DEFAULT CHARACTER SET utf8;
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';
　　如果mysql也装在集群中的某个机器上面，而且该服务也装在这个台机器上面。。比如我的hadoop.SlaveT1上面挂了hive服务，mysql也在它上面就会连接不上 还需要运行以下命令



grant all on hive.* TO 'hive'@'hadoop.SlaveT1' IDENTIFIED BY 'hive';
　　
　　5.安装ambari服务



yum install -y epel-release
yum install ambari-server
　　//自己下载jdk-6u31-linux-x64.bin，放在/var/lib/ambari-server/resources下面 ，就免得它自己下了，速度老慢了。。
　　ambari-server setup
　　我的ambari数据库账号密码全是ambari
　　安装完毕之后启动ambari服务 ambari-server start
　　登陆ambari，账号密码都是admin http://localhost:8080 然后开始安装，安装过程当中一定要注意jdk的目录是/usr/jdk64/1.6.0_31，安装的时候它默认给出来的jdk的不对，装到最后集群也用不了。。
　　未完待续！