设为首页 收藏本站
查看: 830|回复: 0

[经验分享] hadoop+zookeeper+hbase分布式环境配置之hbase分布式环境搭建

[复制链接]

尚未签到

发表于 2015-11-21 14:38:24 | 显示全部楼层 |阅读模式
  准备:
  安装好hadoop分布式集群环境
  参考之前的博文 以下是配置简单清单
  192.168.1.252 master namenode secondarynamenode resourcemanager zookeeper
  192.168.1.251 slave1 dataNode nodemanager zookeeper
  192.168.1.250 slave2 dataNode nodemanager zookeeper
  安装好zookeeper分布式集群环境
  参考之前的博文
  安装hbase分布式环境
  下载最新hbase包 解压到指定文件夹(如:/home/yufan/program/hbase)
  修改hbase-env.sh文件,假如jdk、hadoop等信息配置 如下
  export JAVA_HOME=/home/yufan/program/jdk
export HBASE_MANAGES_ZK=false
export HBASE_HOME=/home/yufan/program/hbase
export HADOOP_HOME=/home/yufan/program/hadoop
  第一行配置是加入jdk的安装路径
  第二行配置是设置是否启用hbase自带的zookeeper,true是启用,false是不启用,上一篇介绍了zookeeper分布式环境的配置,此处就使用自己配置的,设置为false
  第三行配置是设置hbase的安装路径
  第四行是设置hadoop的安装路径       hbase是基于fdfs的高可用性数据库自然要配置hadoop的安装路径了
  修改hbase-site.xml文件
  <property>
    <name>hbase.master</name>
    <value>master:9000</value>
  </property>
  配置hbase的master的ip和端口
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  hbase的运行模式设置 false为单机模式 true为分布式模式
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://master:9000/hbasedir</value>
  </property>
  hbase的持久化数据目录
  <property>
      <name>zookeeper.session.timeout</name>
      <value>1200000</value>
  </property>
  zookeeper超时时间
  <property>
      <name>hbase.zookeeper.quorum</name>
      <value>master,slave1,slave2</value>
    </property>
  zookeeper的集群服务器列表地址
  <property>
      <name>hbase.zookeeper.property.clientPort</name>
      <value>2181</value>
    </property>
  zookeeper的客户端连接端口 这是在zookeeper的zoo.cfg中配置的
  <property>
        <name>hbase.hregion.max.filesize</name>
        <value>20971520</value>
  </property>
  设置hregion的文件的最大&#20540;,如果超出这个最大&#20540;将会被分割成为两个文件
  <property>
        <name>hbase.hregion.memstore.flush.size</name>
        <value>5242880</value>
  </property>
  设置memstore的大小,如果超过这个&#20540;那么会被flush到磁盘,这个&#20540;会被一个线程监控
  最基本的配置就到此完结了,更多设置请查阅api。
  将hbase通过scp命令复制到slave1和slave2与master相同目录下
  修改/etc/profile文件添加hbase的安装目录配置 将hbase 的bin目录加入到classpath中 将lib目录加入到path 同样通过scp命令复制到slave1和slave2服务器 在三台服务器上通过source /etc/profile命令使之生效
  执行hadoopnamenode -format和start-all.sh命令启动hadoop,运行hadoop fs -mkdir /hbasedir命令创建hbase持久化数据目录,分别在三台服务器上运行zkServer.sh start命令启动zookeeper,运行start-hbase.sh启动hbase分布式集群。
  通过以上操作已经启动了hbase集群,可以通过http://master:60010访问hbase集群的web界面!
  

  初学hbase,有不足之处请多多指教,留作纪念,日后用到的时候也好方便!
  

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-141880-1-1.html 上篇帖子: linux系统下安装zookeeper集群 下篇帖子: zookeeper全分析之我见一
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表