设为首页 收藏本站
查看: 934|回复: 0

[经验分享] 使用ambari离线安装Hadoop集群

[复制链接]

尚未签到

发表于 2016-12-12 07:49:42 | 显示全部楼层 |阅读模式
准备工作:(系统centos6) (推荐java1.7以上版本)
 1.准备至少3台机器依次配置每台机器的主机名,第一台机器同时作为yum本地源

配置主机名3
1.#hostname hdp1
2.# vim /etc/sysconfig/network
  HOSTNAME=hdp1
3.# vim /etc/hosts
192.168.144.63 hdp1
192.168.144.64 hdp2
192.168.144.70 hdp3

2.设置hdp1免密码登陆hdp2,hdp3

  hdp1上执行:
  #ssh-keygen -t rsa 3次回车)
  # scp ~/.ssh/id_rsa.pub root@hdp1:~/
  # scp ~/.ssh/id_rsa.pub root@hdp2:~/
  # scp ~/.ssh/id_rsa.pub root@hdp3:~/
  每台机器上执行:
  #vim /etc/ssh/sshd_config  (打开下面3行的注释)
       RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile      .ssh/authorized_keys
  # cat ~/id_rsa.pub >> ~/.ssh/authorized_keys  

下载 HDP   HDP-UTILS  
#wget -nv http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.3.2.0/hdp.repo -O /etc/yum.repos.d/hdp.repo
#同步
#Yum repolist
#reposync -r HDP-2.3.2.0
#reposync -r HDP-UTILS-1.1.0.20
下载 Amabri 
# wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.1.2.1/ambari.repo -O /etc/yum.repos.d/ambari.repo
#同步
#yum repolist
  # reposync -r Updates-ambari-2.1.2.1
 
每台机器安装:
#yum install -y mesa-libGL.i686
#yum install openssl
     [安装时遇到openssl问题# rpm -qa|grep openssl
     # rpm -e openssl-1.0.1e-15.el6.x86_64
     # rpm -Uvh openssl-devel-1.0.0-27.z.2.ec1.gf.el6.x86_64.rpm]
#yum install nc
#yum install redhat-lsb
#yum install gcc
#yum install python-devel
#yum install python-libs
  关闭 Linux  THP 服务(#centos6)
  # echo transparent_hugepage=never >> /etc/grub.conf
  #echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
  #yum install ntp
  # chkconfig ntpd on && service ntpd start
  (失败vim /etc/ntp.conf  添加ntpd_enable="YES")
关闭 SELinux 服务,关闭防火墙,
#chkconfig iptables off && service iptables stop && setenforce 0
修改/etc/selinux/config文件中的SELINUX="" disabled
  # mkdir -p /var/lib/ambari-agent/data
  #date -s "2015-12-05 15:02:00"校准时间
  #/etc/init.d/sshd restart
 
 
第一台机器安装:
  #yum install createrepo (安装  createrepo ,用于制作本地源)
  /etc/yum.repo.d文件夹中添加一个 ambari.repo文件,内容如下:
[Updates-ambari-2.1.2.1]
name=ambari-2.1.2.1 - Updates
baseurl=http://192.168.116.129/ambari/Updates-ambari-2.1.2.1/
gpgcheck=0
enabled=1
[HDP-2.3.2.0]
name=HDP Version - HDP-2.3.2.0
baseurl=http://192.168.116.129/ambari/HDP-2.3.2.0/
gpgcheck=0
enabled=1
[HDP-UTILS-1.1.0.20]
name=HDP Utils Version - HDP-UTILS-1.1.0.20
baseurl=http://192.168.116.129/ambari/HDP-UTILS-1.1.0.20/
gpgcheck=0
enabled=1
# mkdir /var/www/html/ambari
把上面下载的文件夹移动到abmari
#createrepo /var/www/html/ambari
#createrepo HDP-2.3.2.0/
#createrepo HDP-UTILS-1.1.0.20/
 
#createrepo Updates-ambari-2.1.2.1/
  配置环境:httpd 服务
  #vi /etc/httpd/conf/httpd.conf
    #ServerName  www.example.com :80  修改为 ServerName hostname:80
修改访问权限:
<Directory />
  Options FollowSymLinks
  AllowOverride None
</Directory>
启动 httpd 服务
#chkconfig httpd on && service httpd start
 
#yum clean all && yum makecache
# yum install ambari-server
#ambari-server setup
# ambari-server start
 
3.访问hdp1:8080安装
注意:
Select Stack> Advanced Repository Options指定本地源
  安装ambari-agent选择的sshkeyid_rsa
  #mkdir /var/lib/ambari-agent/data
  安装agent报错
  vi /etc/ambari-agent/conf/ambari-agent.ini
[server]
hostname=<your.ambari.server.hostname>
url_port=8440
secured_url_port=8441
  使用hiveview报错
修改hdfs》df.permision =false
 

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-312891-1-1.html 上篇帖子: hadoop作业的优化常用手段 下篇帖子: 通过Hadoop的API对Job进行管理
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表