设为首页 收藏本站
查看: 923|回复: 0

[经验分享] 理解HBase zookeeper和-Root-/.MET表

[复制链接]

尚未签到

发表于 2017-4-19 10:50:35 | 显示全部楼层 |阅读模式
1 探究Zookeeper
   安装过HBase的开发者一定知道,HBase本身就嵌入了Zookeeper,你可以选择安装嵌入的Zookeeper,也可以安装一个分布式的Zookeeper集群。具体的安装步骤,可以到我的博客里查找。
   我们可以手工与Zookeeper交互的方式就是使用HBaseshell命令。使用zk_dump来查看HBase的安装等信息。

   hbase(main):002:0>zk_dump
HBaseis rooted at /hbase
Active master address:hadoop-master,60000,1390921674646
Backup master addresses:
Region server holding ROOT:machine-0,60020,1390921686697
Region servers:
machine-1,60020,1390921690387
machine-2,60020,1390921767658
machine-0,60020,1390921686697
Quorum Server Statistics:
machine-1:2222
Zookeeper version: 3.4.5-1392090, built on 09/30/2012 17:52 GMT
Clients:
/192.168.177.158:55294[1](queued=0,recved=121,sent=135)
/192.168.177.172:54763[0](queued=0,recved=1,sent=0)
/192.168.177.168:59896[1](queued=0,recved=48,sent=48)
/192.168.177.158:55299[1](queued=0,recved=47,sent=47)
Latency min/avg/max: 0/2/42
Received: 217
Sent: 230
Connections: 4
Outstanding:0
Zxid: 0x3300000047
Mode: follower
Node count: 29
machine-0:2222
Zookeeper version: 3.4.5-1392090, built on 09/30/2012 17:52 GMT
Clients:
/192.168.177.172:38860[1](queued=0,recved=75,sent=77)
/192.168.177.172:38855[1](queued=0,recved=322,sent=369)
/192.168.177.167:52643[1](queued=0,recved=78,sent=90)
/192.168.177.172:38900[0](queued=0,recved=1,sent=0)
Latency min/avg/max: 0/2/291
Received: 476
Sent: 536
Connections: 4
Outstanding: 0
Zxid: 0x3300000047
Mode: follower
Node count: 29
machine-2:2222
Zookeeper version: 3.4.5-1392090, built on 09/30/2012 17:52 GMT
Clients:
/192.168.177.172:45693[0](queued=0,recved=1,sent=0)
/192.168.177.172:45687[1](queued=0,recved=13,sent=13)
/192.168.177.167:36053[1](queued=0,recved=43,sent=43)
Latency min/avg/max: 0/0/21
Received: 57
Sent: 56
Connections: 3
Outstanding: 0
Zxid: 0x3300000047
Mode: leader
Node count: 29



  
  根据显示的信息,我们可以查阅到HDFS中的HBase根路径,激活的主机地址域名和端口,root表的主机地址和端口。

HBase is rooted at /hbase
Active master address:hadoop-master,60000,1390921674646
Backup master addresses:
Region server holding ROOT:machine-0,60020,1390921686697



  区域服务器地址信息

Region servers:
machine-1,60020,1390921690387
machine-2,60020,1390921767658
machine-0,60020,1390921686697



  Zookeeper法定服务器的统计信息,当前的法定服务名称以及Zookeeper版本信息,客户端信息等

Quorum Server Statistics:
machine-1:2222
Zookeeper version: 3.4.5-1392090, built on 09/30/2012 17:52 GMT
Clients:
/192.168.177.158:55294[1](queued=0,recved=121,sent=135)
/192.168.177.172:54763[0](queued=0,recved=1,sent=0)
/192.168.177.168:59896[1](queued=0,recved=48,sent=48)
/192.168.177.158:55299[1](queued=0,recved=47,sent=47)
Latency min/avg/max: 0/2/291
Received: 476
Sent: 536
Connections: 4
Outstanding: 0
Zxid: 0x3300000047
Mode: follower
Node count: 29
machine-2:2222
Zookeeper version: 3.4.5-1392090, built on 09/30/2012 17:52 GMT
Clients:
/192.168.177.172:45693[0](queued=0,recved=1,sent=0)
/192.168.177.172:45687[1](queued=0,recved=13,sent=13)
/192.168.177.167:36053[1](queued=0,recved=43,sent=43)
Latency min/avg/max: 0/0/21
Received: 57
Sent: 56
Connections: 3
Outstanding: 0
Zxid: 0x3300000047
Mode: leader
Node count: 29



    当我们尝试去理解系统当前的状态时,这些信息显得尤为重要。那些主机加入到集群中了,那个主机扮演什么角色。更重要的是,个主机充当HBase的-root-表服务。HBase客户端需要这些信息来实现读写操作,而Zookeeper正好可以提供这些信息。
    客户端能够制动化地与Zookeeper进行操作交流以及找到区域服务器
  (RegisionServer)。为了更好的理解这些信息,我们将探究一下HBase中两个特殊的表-root-和.meta.。

2 探究-ROOT-表

[table][/table]  

扫描-root-表,查看具体的信息。

   DSC0000.jpg

  从输出的信息可以知道,-root-表包含.meta.表信息。-root-表中仅有一行数据,并且所有的信息是关于region, 这就意味着,整个系统由-root-表管理。这我目前的实例中,一个单一的.meta.表中的region能够包含所有信息。从-root-表中,我们可以知道有4列(regioninfo, server,serverstartcode, v.)数据,.meta.的数据在RegionServer 服务机的machine-0上。由于只有一个region,regioninfo字段中的开始字段startkey和结束字段endkey都为空。

3 探究.META.表
      从上一节中,我们知道,regioninfo中包含region的名称,开始关键字startkey,结束关键字endkey,编码过的名称(编码过的名称是系统内部使用的)。如果.meta.表中没有表单定义,会有下列的显示:
  hbase(main):030:0> scan '.META.'
  ROW COLUMN+CELL
  0 row(s) in 5.4180 seconds
  
  一旦有表定义在HBase中,呈现效果会是这样:

hbase(main):012:0>scan '.META.'
ROW                           COLUMN+CELL                                                                        
car,,1389254794373.41b48a453column=info:regioninfo, timestamp=1389254795518, value={NAME =>'car,,1389254794373.
79036ed6a28620f95bc3e73.     41b48a45379036ed6a28620f95bc3e73.',STARTKEY => '', ENDKEY => '', ENCODED => 41b48a4
5379036ed6a28620f95bc3e73,}                                                         
car,,1389254794373.41b48a453column=info:server, timestamp=1390982716032, value=machine-1:60020                 
79036ed6a28620f95bc3e73.                                                                                       
car,,1389254794373.41b48a453column=info:serverstartcode, timestamp=1390982716032, value=1390982688688         
79036ed6a28620f95bc3e73.                                                                                       
pentaho_mappings,,1389456264column=info:regioninfo, timestamp=1389456267362, value={NAME =>'pentaho_mappings,,1
784.1fa2cc86c50ced5fa39630da389456264784.1fa2cc86c50ced5fa39630dae76fb1a2.', STARTKEY => '', ENDKEY=> '', ENCOD
e76fb1a2.                    ED =>1fa2cc86c50ced5fa39630dae76fb1a2,}                                          
pentaho_mappings,,1389456264column=info:server, timestamp=1390982716247, value=machine-0:60020                 
784.1fa2cc86c50ced5fa39630da                                                                                    
e76fb1a2.                                                                                                      
pentaho_mappings,,1389456264column=info:serverstartcode, timestamp=1390982716247, value=1390982687824           
784.1fa2cc86c50ced5fa39630da                                                                                    
e76fb1a2.                                                                                                      
users,,1389925800801.6a5a2b0column=info:regioninfo, timestamp=1389925809127, value={NAME =>'users,,138992580080
170dfd0e19df13849706ec035.   1.6a5a2b0170dfd0e19df13849706ec035.',STARTKEY => '', ENDKEY => '', ENCODED => 6a5a2
b0170dfd0e19df13849706ec035,}                                                      
users,,1389925800801.6a5a2b0column=info:server, timestamp=1390982718429, value=machine-1:60020                 
170dfd0e19df13849706ec035.                                                                                       
users,,1389925800801.6a5a2b0column=info:serverstartcode, timestamp=1390982718429, value=1390982688688         
170dfd0e19df13849706ec035.                                                                                      
weblogs,,1389255303284.d2973column=info:regioninfo, timestamp=1389255304879, value={NAME =>'weblogs,,1389255303
dcc1b1ff64cc56a197fdd83ec5e.284.d2973dcc1b1ff64cc56a197fdd83ec5e.', STARTKEY => '', ENDKEY => '',ENCODED => d29
73dcc1b1ff64cc56a197fdd83ec5e,}                                                   
weblogs,,1389255303284.d2973column=info:server, timestamp=1390982716256, value=machine-0:60020                 
dcc1b1ff64cc56a197fdd83ec5e.                                                                                    
weblogs,,1389255303284.d2973column=info:serverstartcode, timestamp=1390982716256, value=1390982687824         
dcc1b1ff64cc56a197fdd83ec5e.                                                                                    
4 row(s) in0.3280 seconds



  
   正如你看到的,.META.包含的是表的信息,这里就不详述了。看下列这个结构图便可以理解HBase中这两个表的关系。
   DSC0001.jpg
  

   doc版本的内容,请点击探究HBase系统.docx
  

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-366288-1-1.html 上篇帖子: ZooKeeper之分布式锁(Python版) 下篇帖子: 几篇介绍ZooKeeper的文章
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表