设为首页 收藏本站
查看: 960|回复: 0

离线安装cloudera manager server和hadoop集群

[复制链接]

尚未签到

发表于 2015-11-11 12:23:39 | 显示全部楼层 |阅读模式
  目的:
  cloudera manager server安装hadoop集群的服务大大简化了安装过程,即使不懂linux的人之需要鼠标点一点就可以安装和管理,但是cloudera manager server所有的安装过程都是在线的,如果某地网速过慢或者无法联网,就需要离线来安装cloudera manager server。下面我来介绍一下我安装的步骤
  
  
  环境:
  ubuntu 12.04 64位系统(其他系统安装原理也是类似的)
  
  
  大概思路:
  看cloudera manager server的安装过程的提示可以看出,cm是把它官网的源加入到本地,然后执行apt-get install来安装,所以很容易的想到把官网上的源下下来,然后在局域网建立一个源,笔者也是这么做的。
  
  
  具体步骤:
  1,下载官网上的源,笔者使用wget这个工具,具体命令如下:
  wget -mc http://archive.cloudera.com/cdh4/ubuntu/precise/amd64/cdh/
  wget -mc http://archive.cloudera.com/cm4/ubuntu/precise/amd64/cm/
  大家仔细分析下这两个源就知道这是什么了
  
  2,下载好的源建立服务器
  笔者使用nginx服务器,觉得配置和使用都很简单,网上有很多教程,大家可以搜搜
  我是参考这个博客http://www.cnblogs.com/zhangzhang/archive/2012/06/11/2544621.html来配置
  还有一点说明就是如果访问服务器是403 forbid的话把nginx的配置文件的用户和用户组都改成root
  假设建立好了源 比如源建在192.168.1.2这个机子 只需要在每台机子的/etc/apt/sources.list里面加入:
  deb [arch=amd64] http://ip/cm4/ubuntu/precise/amd64/cm precise-cm4 contrib
  deb-src http://ip/cm4/ubuntu/precise/amd64/cm precise-cm4 contrib
  然后apt-get update一下 就会发现用apt-get install hadoop什么都存在了
  
  3,离线安装cloudera manage server
  在上一篇博客里面已经介绍了cm在线的安装办法,按道理说现在也这样安装就没有问题,因为源都在本地了。但是经过查看日志文件知道,cm安装过程中还要从其他网址下载东西比如mysql和postsql,ssh等,这些都需要我们下好,然后手动安装(当然,你可以把这些下好,然后加入到源里面,就可以安装,但是笔者对于源不是很熟悉,希望这样成功的人能留言告知下具体做法)。
  在执行 cloudera-manager-installer.bin需要先安装这些
DSC0000.png
  4,离线安装hadoop集群
  需要安装hadoop服务的机子需要安装如下:
  ntp
  
  mysql DSC0001.png
  还有ssh
DSC0002.png
  (以上的这些文件都是笔者在线安装时,得到的文件,这些文件保存在/var/cathe/apt/archives文件夹里面)
  
  注意问题:
  1,如果只有一台机子测试时,需要修改/etc/hosts,把本机ip和主机名加入即可
  2,有时候firefox显示会有问题,可以改用chrome即可
         版权声明:本文为博主原创文章,未经博主允许不得转载。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-137884-1-1.html 上篇帖子: 运用hadoop计算TF-IDF续-支持中文读取-支持文件输出控制 下篇帖子: Nutch-hadoop集群配置——Ubuntu10.04
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表