设为首页 收藏本站
查看: 877|回复: 0

[经验分享] Hbase 中 hbase-site.xml 参数含义

[复制链接]
累计签到:1 天
连续签到:1 天
发表于 2015-6-24 08:51:30 | 显示全部楼层 |阅读模式
                      hbase.client.scanner.caching
定义在扫描器中调用next方法时取回的行数。数值越大,在扫描时客户端需要对RegionServer发出的远程调用次数越少。数值越大,客户端消耗内存越大。

hbase.balancer.period
region均衡器在HBase Master中周期性运行。该属性定义了均衡器运行的时间间隔,默认5分钟,单位毫秒。

hbase.client.write.buffer
客户端HTable实例写缓存,单位Byte。越大RPC调用越少,同时占用更多内存。

hbase.hregion.majorcompaction
大合并周期性合并。毫秒为单位,默认是一天。(通常建议不开启)

hbase.hregion.max
底层存储文件HStoreFile的最大值。region大小由这个参数定义。如果列族的存储文件超过这个值,region会被拆分。

hbase.hregion.memstore.flush.size
MemStore的最大值,单位是Byte。当MemStore超过这个值时,会被刷写到磁盘。一个周期性运行的线程检查MemStore的大小,线程运行频率可以由hbase.server.thread.wakefrequency定义
hbase.server.thread.wakefrequency

hbase.hregion.memstore.mslab.enabled
MemStore-Local Allocation Buffer是HBase的一个特性,用来在出现密集写时防止堆碎片化。开启它一般会环节由于堆太大引起的垃圾回收暂停太长的问题,默认是true。

hbase.hstore.blockingStoreFiles
如果region里某个列族存储文件数目超过这个值,写会阻塞掉,知道合并完成或者阻塞超时。超时是时间使用hbase.hstore.blockingWaitTime设置,单位毫秒。
hbase.hstore.blockingWaitTime

hbase.hstore.compaction.max
配置在单个小合并中进行合并的最多文件数。默认是7。

hbase.hstore.compactionThreshold
在某个列族的存储文件数达到这个值时,HBase在那个region上执行合并。给这个参数设置的值越大,导致执行合并频率越低,但花费时间也越长。

hbase.mapreduce.hfileoutputformat.blocksize
HFile数据块大小在每张表的每个列族层级进行设置,该参数决定HFile建立索引的粒度。数据块越小,随机读取性能越好,同时数据块索引占用的空间越大,消耗内存越多。在MapReduce作业中使用HFileOutputFormat直接把数据写到HFile时,必须用该属性定义数据块大小。

hbase.master.info.port
定义用户访问端口
http://master:port,默认是60010

hbase.master.port
是Master进程监听端口,默认值是60000.

hbase.regionserver.port
RegionServer的监听端口

hbase.regionserver.global.memstore.lowerLimithbase.regionserver.global.memstore.upperLimit
upperLimit定义在一个RegionServer上MemStore总共可以使用的堆百分比。遇到upperLimit的时候,MemStore被刷写道硬盘,知道遇到lowerLimit时停止。

hbase.regionserver.handler.count
在RegionServer和Master进程上可以启动RPC监听数量

hbase.regionserver.optionallogflushinterval
不论HLog文件中有多少edits, Hlog多久必须刷写一次文件系统。这个就是强制刷写的时间间隔,单位毫秒。默认是1000ms。

hbase.regionserver.regionSplitLimit
一个系统拥有的region数量的最大值,默认是MAX_INT(2147483647)

hbase.tmp.dir
本地HBase使用临时目录

hfile.block.cache.size
数据块缓存可以使用的堆最大量。数据块缓存算法是LRU。

zookeeper.session.timeout
HBase守护进程和客户端都是Zookeeper客户端。该参数是他们和Zookeeper之间会话超时时间,单位毫秒。

zookeeper.znode.parent
在ZooKeeper中HBase和znode根目录,默认值是/hbase。所有HBase的ZooKeeper文件都被配置为使用该目录作为父目录。

                   


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-80036-1-1.html 上篇帖子: Java代码访问Hbase测试 下篇帖子: HIVEQL
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表