设为首页 收藏本站
查看: 823|回复: 0

[经验分享] 全分布式下安装hbase(使用hbase自带的zookeeper)

[复制链接]

尚未签到

发表于 2015-11-21 14:48:47 | 显示全部楼层 |阅读模式
  转自:http://www.dataguru.cn/portal.php?mod=view&aid=2674

  环境:master 192.168.0.100
      slaveA 192.168.0.101
      slaveB 192.168.0.102
包:hbase-0.90.4-cdh3u2
hadoop-0.20.2-cdh3u2
gz包下载地址:http://archive.cloudera.com/cdh/3/
首先为了版本不出现问题 选择Cloudera公司的hadoop发行版,这个版本的配置方法和之前的hadoop安装并没用什么不同,同时这也是目前生产环境的主流选择,我这里选择了cdh3u2的版本。

安装前必读(主要对于初次安装的同学):
             1、要有耐心 各种错误出现的时候不要浮躁             2、保持清醒 出错的时候肯定要修改配置 修改的时候自己不要晕 要细心 清醒             3、我这里贴的步骤不是特别详细 原因就是希望大家安装发现更多的错误,并自己解决掉 这样有助于自己的提高 ,如果是一步一步的详细安装 大家都碰不到错误 那就没什么意思了,但是核心的配置文件都给出了。

一:安装hadoop并确定集群启动正常,安装的步骤之前的文章已经说过了,这里不再废话了,贴一下我的hadoop的配置文件:







验证hadoop安装正常


二:修改hbase的配置文件:
在master节点上修改以下的配置文件hbase-env.sh:加入jave的环境变量



可选步骤:



使用hbase自带的zookeeper:



hbase-site.xml:(非常关键)



第一个配置是配置HRegionServer的数据库存储目录
第二个配置是配置hbase为完全分布式
第三个配置是配置hmaster的地址
第四个是配置ZooKeeper集群服务器的位置 这个注意必须是奇数个最后一个是配置zookeeper的属性数据存储目录,如果你不想重启电脑就被清空的话就要配置这个 因为默认是/tmp
regionservers:配置一下HRegionServer



把以上文件修改后把修改好的文件夹scp方式传输到slaveA和slaveB节点,使三个节点的hbase文件夹保持一致。
如果没有事先启动hadoop集群 请先启动hadoop集群这里主要是保证文件系统启动了,可以不用start-all 只启动文件系统也ok (dfs-start)启动hbase集群:



master上jps



slave上jps



启动成功:帅气的界面:



安装中如果日志出现错误:cannot open channel to 3 at election address slaveA/192.168.0.101:3888  java.net.ConnectException: Connection refused          at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)          at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:567)         at sun.nio.ch.SocketAdaptor.connect(SocketAdaptor.java:100)          at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectOne(QuorumCnxManager.java:371)          at org.apache.zookeeper.server.quorum.QuorumCnxManager.toSend(QuorumCnxManager.java:340)         at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.process(FastLeaderElection.java:360)          at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.run(FastLeaderElection.java:333)         at java.lang.Thread.run(Thread.java:662)  
我们可以先不予以理会,因为ZooKeeper集群启动的时候,每个结点都试图去连接集群中的其它结点,先启动的肯定连不上后面还没启动的,所以上面日志前面部分的异常是可以忽略的。通过后面部分可以看到,集群在选出一个       Leader后,最后稳定了。
三:测试 (这部分的内容没有涉及安装的问题,安装的部分主要在上面)
创建表


插入数据


查询


更新


删除


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-141890-1-1.html 上篇帖子: zookeeper研究笔记(一)—— single模式搭建 下篇帖子: zookeeper 安装 windows环境
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表