hadoop 监控--hadoop hbase metric名全申明

death114

体系参数监控metrics
 
load_one            每分钟的体系均匀负载
load_fifteen        每15分钟的体系均匀负载
load_five           每5分钟的体系均匀负载
boottime            体系启动时候，正确到秒
bytes_in            收集接管速度，单位bytes/sec
bytes_out           收集发送速度，单位bytes/sec
cpu_aidle            启动的余暇CPU百分比
cpu_idle            余暇CPU百分比  
cpu_nice            用户过程空间内改变过优先级的过程占用CPU百分比
cpu_num             CPU线程总数
cpu_report          CPU应用景象汇总呈报
cpu_speed           CPU速度（MHz）
cpu_system          内核空间占用CPU百分比
cpu_user            用户空间占用CPU百分比
cpu_wio                CPU余暇时的最大I/O恳求
proc_total          过程总数
swap_free            余暇互换分区余暇大小
swap_total            余暇互换分区大小（KBs显示）
disk_free            残剩磁盘空间
disk_total            磁盘总大小
ip_address          ip地址列表
last_reported        最后一次呈报时候
load_report            体系负载汇总呈报
location            定位信息（经纬度）
machine_type        体系版本（X86或64）
mem_buffers            内核缓存的内存总量
mem_cached            缓存内存大小
mem_free            余暇内存大小
mem_report            内存汇总呈报
mem_shared            共享内存大小
mem_total            物理内存总量（KBs显示）
os_name                操纵体系名称
os_release            操纵体系版本
pkts_in                每秒进来的包数
pkts_out            每秒出去的包数
proc_run            运行的过程总数
packet_report        包汇总呈报
network_report        收集汇总呈报
namenode监控metrics
dfs.namenode.SafeModeTime                        safemode时候
dfs.namenode.AddBlockOps                        写入block次数
dfs.namenode.BlockReportAvgTime                    block report的均匀时候次数
dfs.namenode.BlockReportNumOps                    block report的次数
dfs.namenode.CreateFileOps                        创建文件次数
dfs.namenode.DeleteFileOps                        删除文件次数
dfs.namenode.FileInfoOps                        查看文件info次数
dfs.namenode.FilesCreated                        已创建的文件个数
dfs.namenode.FilesDeleted                        已删除的文件个数
dfs.namenode.FilesInGetListingOps                getlist操纵次数
dfs.namenode.FilesRenamed                        重定名文件个数
dfs.namenode.FsImageLoadTime                    fsimage加载时候
dfs.namenode.GetAdditionalDatanodeOps            GetAdditionalDatanode操纵次数
dfs.namenode.GetBlockLocations                    获取block地位操纵次数
dfs.namenode.GetListingOps                        getListing操纵次数
dfs.namenode.SyncsAvgTime                        将操纵同步为editlog的均匀时候
dfs.namenode.SyncsNumOps                        将操纵同步为editlog的次数
dfs.namenode.TransactionsAvgTime                transcation的均匀时候
dfs.namenode.TransactionsBatchedInSync            transcation在flush时发明已经被sync的景象的次数
dfs.namenode.TransactionsNumOps                    transcation的个数
datanode参数监控metrics
dfs.datanode.BlockReportsAvgTime                            向namenode报告请示block的均匀时候
dfs.datanode.BlockReportsNumOps                                向namenode报告请示block的次数
dfs.datanode.BlocksRead                                        从硬盘读块的次数
dfs.datanode.BlocksRemoved                                    删除块的个数
dfs.datanode.BlocksReplicated                                备份块操纵的个数
dfs.datanode.BlocksVerified                                    验证块的次数
dfs.datanode.BlocksWritten                                    写入块的个数
dfs.datanode.BytesRead                                        读出总字节
dfs.datanode.BytesWritten                                    写入总字节
dfs.datanode.CopyBlockOpAvgTime                                复制块的均匀时候
dfs.datanode.CopyBlockOpNumOps                                复制块的次数                               
dfs.datanode.HeartbeatsAvgTime                                向namenode报告请示的均匀时候
dfs.datanode.HeartbeatsNumOps                                向namenode报告请示的次数
dfs.datanode.ReadBlockOpAvgTime                                读数据块的均匀时候
dfs.datanode.ReadBlockOpNumOps                                读数据块的次数
dfs.datanode.ReadsFromLocalClient                            本地读取的次数
dfs.datanode.ReadsFromRemoteClient                            长途读取的次数
dfs.datanode.WriteBlockOpAvgTime                            写数据块的均匀时候
dfs.datanode.WriteBlockOpNumOps                                写数据块的次数
dfs.datanode.WritesFromLocalClient                            写本地的次数
dfs.datanode.WritesFromRemoteClient                            写长途的次数
dfs.datanode.PacketAckRoundTripTimeNanosAvgTime                包确认均匀时候
dfs.datanode.PacketAckRoundTripTimeNanosNumOps              包确认次数
dfs.datanode.FlushNanosAvgTime                                文件体系flush均匀时候
dfs.datanode.FlushNanosNumOps                               文件体系flush次数
dfs.datanode.ReplaceBlockOpAvgTime                            块调换均匀时候
dfs.datanode.ReplaceBlockOpNumOps                            块调换次数    
dfs.datanode.SendDataPacketBlockedOnNetworkNanosAvgTime     收集上发送块均匀时候
dfs.datanode.SendDataPacketBlockedOnNetworkNanosNumOps      收集上产生块次数
dfs.datanode.SendDataPacketTransferNanosAvgTime             收集上发送包均匀时候
dfs.datanode.SendDataPacketTransferNanosNumOps                收集上发送包个数
HDFS文件体系metric
dfs.FSNamesystem.BlockCapacity                         block的总容量
dfs.FSNamesystem.BlocksTotal                        block的当前容量
dfs.FSNamesystem.CapacityRemainingGB                HDFS文件体系残剩的容量
dfs.FSNamesystem.CapacityTotalGB                    HDFS文件体系总体容量
dfs.FSNamesystem.CapacityUsedGB                        HDFS文件体系已应用的容量
dfs.FSNamesystem.CorruptBlocks                        已破坏的block数量
dfs.FSNamesystem.ExcessBlocks                        多余的block                        
dfs.FSNamesystem.ExpiredHeartbeats                    超时的心跳
dfs.FSNamesystem.FilesTotal                            文件总数
dfs.FSNamesystem.LastCheckpointTime                    比来一次做checkpoint的时候
dfs.FSNamesystem.LastWrittenTransactionId            比来一次写入的transactionid
dfs.FSNamesystem.MillisSinceLastLoadedEdits            间隔上一次加载edit的时候
dfs.FSNamesystem.MissingBlocks                        丧失的block数量
dfs.FSNamesystem.TotalFiles                            文件总个数
dfs.FSNamesystem.UnderReplicatedBlocks                副本个数不敷的block
dfs.FSNamesystem.PendingDataNodeMessageCount        datanode的恳求被queue在standby namenode的个数
dfs.FSNamesystem.PendingDeletionBlocks                未被验证的block个数
dfs.FSNamesystem.PendingReplicationBlocks            守候被备份的block个数
dfs.FSNamesystem.PostponedMisreplicatedBlocks        被推迟处理惩罚的错误备份的block个数
dfs.FSNamesystem.ScheduledReplicationBlocks            排定要备份的block个数
dfs.FSNamesystem.TotalLoad                            namenode的Xceiver个数
dfs.FSNamesystem.TransactionsSinceLastCheckpoint    从前次checkpoint起到如今新的transcation的个数
dfs.FSNamesystem.TransactionsSinceLastLogRoll        从前次roll editlog起到如今新的transcation的个数
hbase.master metrics
hbase.master.cluster_requests                        当前机械整体request的个数
hbase.master.splitSize_avg_time                        splitlog的大小
hbase.master.splitSize_num_ops                        splitlog次数
hbase.master.splitTime_avg_time                        splitlog的时候
hbase.master.splitTime_num_ops                        splitlog的次数
hbase参数监控metrics
hbase.regionserver.blockCacheCount                            RegionServer中缓存到blockcache中block的个数。
hbase.regionserver.blockCacheEvictedCount                    BlockCache中被换出的Block的个数。
hbase.regionserver.blockCacheFree                            返回block cache中余暇的内存大小。
hbase.regionserver.blockCacheHitCachingRatio                HitCache默示因为读取不到而cacheblock的行动，blockCacheHitCachingRatio默示产生该行动的比率
hbase.regionserver.blockCacheHitCount                        blockCache射中次数
hbase.regionserver.blockCacheHitRatio                        blockCache射中比例
hbase.regionserver.blockCacheMissCount                        blockCache非射中比例
hbase.regionserver.blockCacheSize                            blockCache大小
hbase.regionserver.compactionQueueSize                        compaction Queue的大小
hbase.regionserver.compactionSize_avg_time                    均匀履行一次Compaction的数据大小
hbase.regionserver.compactionSize_num_ops                    履行compaction的次数
hbase.regionserver.compactionTime_avg_time                    均匀履行一次Compaction的时候
hbase.regionserver.compactionTime_num_ops                    履行compaction的次数
hbase.regionserver.RequestLatency_75th_percentile        75％的删除恳求延时的概率统计
hbase.regionserver.RequestLatency_95th_percentile        95％的删除恳求延时的概率统计
hbase.regionserver.RequestLatency_99th_percentile        99％的删除恳求延时的概率统计
hbase.regionserver.RequestLatency_max                    删除恳求的最大&＃20540;
hbase.regionserver.RequestLatency_mean                删除恳求的均匀&＃20540;
hbase.regionserver.RequestLatency_median                删除恳求的中位&＃20540;
hbase.regionserver.RequestLatency_min                    删除恳求的最小&＃20540;
hbase.regionserver.RequestLatency_num_ops                删除恳求的个数
hbase.regionserver.RequestLatency_std_dev                删除恳求的标准差
hbase.regionserver.flushQueueSize                            flush Queue的大小
hbase.regionserver.flushSize_avg_time                        均匀履行一次flush的数据大小
hbase.regionserver.flushSize_num_ops                        履行flush的次数
hbase.regionserver.flushTime_avg_time                        均匀履行一次flush的时候
hbase.regionserver.flushTime_num_ops                        履行flush的次数
hbase.regionserver.fsReadLatencyHistogram_75th_percentile    75％的读HLog时候的概率统计
hbase.regionserver.fsReadLatencyHistogram_95th_percentile    95％的读HLog时候的概率统计
hbase.regionserver.fsReadLatencyHistogram_99th_percentile    99％的读HLog时候的概率统计
hbase.regionserver.fsReadLatencyHistogram_max                读HLog时候的最大&＃20540;
hbase.regionserver.fsReadLatencyHistogram_mean                读HLog时候的均匀&＃20540;
hbase.regionserver.fsReadLatencyHistogram_median            读HLog时候的中位&＃20540;
hbase.regionserver.fsReadLatencyHistogram_min                读HLog时候的最小&＃20540;
hbase.regionserver.fsReadLatencyHistogram_num_ops            读HLog的次数
hbase.regionserver.fsReadLatencyHistogram_std_dev            读HLog时候的标准差
hbase.regionserver.fsReadLatency_avg_time                    读HLog时候的均匀时候
hbase.regionserver.fsReadLatency_num_ops                    读HLog时候的次数
hbase.regionserver.fsSyncLatency_avg_time                    sync HLog的均匀时候
hbase.regionserver.fsSyncLatency_num_ops                    sync HLog的次数
hbase.regionserver.fsWriteLatencyHistogram_75th_percentile    75％的写HLog的概率统计
hbase.regionserver.fsWriteLatencyHistogram_95th_percentile    95％的写HLog的概率统计
hbase.regionserver.fsWriteLatencyHistogram_99th_percentile    99％的写HLog的概率统计
hbase.regionserver.fsWriteLatencyHistogram_max                写HLog时候的最大&＃20540;
hbase.regionserver.fsWriteLatencyHistogram_mean                写HLog时候的最大&＃20540;
hbase.regionserver.fsWriteLatencyHistogram_median            写HLog时候的最大&＃20540;
hbase.regionserver.fsWriteLatencyHistogram_min                写HLog时候的最大&＃20540;
hbase.regionserver.fsWriteLatencyHistogram_num_ops            写HLog的次数
hbase.regionserver.fsWriteLatencyHistogram_std_dev            写HLog时候的标准差
hbase.regionserver.fsWriteLatency_avg_time                    写HLog操纵的均匀Latency
hbase.regionserver.fsWriteLatency_num_ops                    写HLog操纵的次数
hbase.regionserver.getRequestLatency_75th_percentile        75％的get恳求时候的概率统计
hbase.regionserver.getRequestLatency_95th_percentile        95％的get恳求时候的概率统计
hbase.regionserver.getRequestLatency_99th_percentile        99％的get恳求时候的概率统计
hbase.regionserver.getRequestLatency_max                    get恳求时候的最大&＃20540;
hbase.regionserver.getRequestLatency_mean                   get恳求时候的均匀&＃20540;
hbase.regionserver.getRequestLatency_median                 get恳求时候的中位&＃20540;
hbase.regionserver.getRequestLatency_min                    get恳求时候的最小&＃20540;
hbase.regionserver.getRequestLatency_num_ops                get恳求的次数
hbase.regionserver.getRequestLatency_std_dev                get恳求时候的标准差
hbase.regionserver.hdfsBlocksLocalityIndex                    统计RegionServer地点机械的数据本地化的概率
hbase.regionserver.hlogFileCount                            hlog file的个数
hbase.regionserver.mbInMemoryWithoutWAL                        RegionServer中不写WAL的Put操纵的数据在Memstore占用的空间
hbase.regionserver.memstoreSizeMB                            RegionServer中所有HRegion中的memstore大小的总和
hbase.regionserver.numPutsWithoutWAL                        RegionServer中不写WAL（Write-Ahead-Log）的Put操纵的个数
hbase.regionserver.putRequestLatency_75th_percentile        75％的put恳求时候的概率统计
hbase.regionserver.putRequestLatency_95th_percentile        95％的put恳求时候的概率统计
hbase.regionserver.putRequestLatency_99th_percentile        99％的put恳求时候的概率统计
hbase.regionserver.putRequestLatency_max                    put恳求时候的最大&＃20540;
hbase.regionserver.putRequestLatency_mean                   put恳求时候的均匀&＃20540;
hbase.regionserver.putRequestLatency_median                 put恳求时候的中位&＃20540;
hbase.regionserver.putRequestLatency_min                    put恳求时候的最小&＃20540;
hbase.regionserver.putRequestLatency_num_ops                put恳求的次数
hbase.regionserver.putRequestLatency_std_dev                put恳求时候的标准差
hbase.regionserver.readRequestsCount                        读恳求的数量：readRequestCount与客户端读取数据的个数不等价，并且大项目组景象下readRequestCount 远小于客户端读取数据个数，因为next（1000）只算一次恳求
hbase.regionserver.regionSplitFailureCount                    region split失败的次数
hbase.regionserver.regionSplitSuccessCount                    region split成功的次数
hbase.regionserver.regions                                    region的个数
hbase.regionserver.requests                                    恳求的数量
hbase.regionserver.rootIndexSizeKB                            storefileIndex的大小，和storefileIndexSizeMB雷同
hbase.regionserver.storefileIndexSizeMB                        storefileIndex的大小
hbase.regionserver.storefiles                                RegionServer中所有的Storefiles的个数
hbase.regionserver.stores                                    RegionServer包含的Store的个数
hbase.regionserver.totalStaticBloomSizeKB                    所有Store上的Bloom Filter大小的总和。
hbase.regionserver.totalStaticIndexSizeKB                    HRegionServer上每个HFile文件的IndexSize的大小，这是指未紧缩的，不带有其它信息的所有HFileBlockIndex信息的总和 。
hbase.regionserver.writeRequestsCount                        写恳求的数量：writeRequestCount与客户端写操纵个数不完全等价，批量写只记做一次恳求，大项目组景象下writeRequestCount远小于客户端写操纵的个数（尤其批量写频繁的景象下）。
map/reduce参数监控metrics
mapred.ShuffleMetrics.ShuffleConnections                    shuffle的连接数
mapred.ShuffleMetrics.ShuffleOutputBytes                    shuffle输出数据大小
mapred.ShuffleMetrics.ShuffleOutputsFailed                    shuffle失败的次数
mapred.ShuffleMetrics.ShuffleOutputsOK                        shuffle成功的次数
yarn（map/reduce v2）参数监控metrics
yarn.NodeManagerMetrics.AllocatedContainers                    当前分派的container个数
yarn.NodeManagerMetrics.AllocatedGB                            当前分派的container内存
yarn.NodeManagerMetrics.AvailableGB                            当前free的内存
yarn.NodeManagerMetrics.ContainersCompleted                    完成状况的container个数
yarn.NodeManagerMetrics.ContainersIniting                    初始化状况的container个数
yarn.NodeManagerMetrics.ContainersKilled                    killed状况的container个数
yarn.NodeManagerMetrics.ContainersLaunched                    启动态的container个数
yarn.NodeManagerMetrics.ContainersRunning                    运行态的container的个数
yarn 集群metrics
yarn.ClusterMetrics.NumActiveNMs                            活的nodemanager个数
yarn.ClusterMetrics.NumLostNMs                                不健康的nodemanager个数
yarn 任务队列metrics
yarn.QueueMetrics.ActiveApplications                        活泼的task的个数
yarn.QueueMetrics.ActiveUsers                                活泼的用户个数        
yarn.QueueMetrics.AggregateContainersAllocated                统共分派的container个数
yarn.QueueMetrics.AggregateContainersReleased                统共开释的container个数
yarn.QueueMetrics.AllocatedContainers                        已经分派的container个数
yarn.QueueMetrics.AllocatedMB                                已经分派的内存
yarn.QueueMetrics.AppsCompleted                                已完成的task数
yarn.QueueMetrics.AppsPending                                挂起的task数
yarn.QueueMetrics.AppsRunning                                运行的task数
yarn.QueueMetrics.AppsSubmitted                                已经提交的task数
yarn.QueueMetrics.AvailableMB                                可用的内存
yarn.QueueMetrics.PendingContainers                            挂起的container数
yarn.QueueMetrics.PendingMB                                    挂起的内存
yarn.QueueMetrics.running_0                                    运行时候在0-60分钟内的task个数
yarn.QueueMetrics.running_1440                                运行时候在1440分钟以上的task个数
yarn.QueueMetrics.running_300                                运行时候在300-1440分钟内的task个数
yarn.QueueMetrics.running_60                                运行时候在60-300分钟内的task个数
hadoop rpc参数监控metrics
rpc.metrics.NumOpenConnections                        number of open connections rpc连接打开的数量
rpc.metrics.ReceivedBytes                             number of bytes received rpc收到的字节数
rpc.metrics.RpcProcessingTime_avg_time                Average time for RPC Operations in last interval rpc在比来的交互中均匀操纵时候                   
rpc.metrics.RpcProcessingTime_num_ops                 rpc在比来的交互中连接数量
rpc.metrics.RpcQueueTime_avg_time                     rpc在交互中均匀守候时候
rpc.metrics.RpcQueueTime_num_ops                      rpc queue中完成的rpc操纵数量
rpc.metrics.SentBytes                                 number of bytes sent  rpc发送的数据字节
rpc.metrics.callQueueLen                              length of the rpc queue  rpc 队列长度
rpc.metrics.rpcAuthenticationFailures                 number of failed authentications  rpc 验证失败次数
rpc.metrics.rpcAuthenticationSuccesses                number of successful authentications   验证成功数
rpc.metrics.rpcAuthorizationFailures                  number of failed authorizations   授权失败次数
rpc.metrics.rpcAuthorizationSuccesses                 number of successful authorizations  成功次数
rpc.detailed-metrics.canCommit_avg_time                  rpc询问是否提交任务均匀时候                                                                                                                                                                                                                                 
rpc.detailed-metrics.canCommit_num_ops                rpc询问是否提交任务次数                                                                                                                                                                                                                                     
rpc.detailed-metrics.commitPending_avg_time           rpc呈报任务提交完成，然则该提交仍然处于pending状况的均匀时候                                                                                                                                                                                           
rpc.detailed-metrics.commitPending_num_ops            rpc呈报任务提交完成，然则该提交仍然处于pending状况的次数                                                                                                                                                                                                    
rpc.detailed-metrics.done_avg_time                    rpc呈报任务成功完成的均匀时候                                                                                                                                                                                                                               
rpc.detailed-metrics.done_num_ops                     rpc呈报任务成功完成的次数                                                                                                                                                                                                                                   
rpc.detailed-metrics.fatalError_avg_time              rpc呈报任务呈现fatalerror的均匀时候                                                                                                                                                                                                                         
rpc.detailed-metrics.fatalError_num_ops               rpc呈报任务呈现fatalerror的次数                                                                                                                                                                                                                             
rpc.detailed-metrics.getBlockInfo_avg_time            从指定datanode获取block的均匀时候                                                                                                                                                                                                                           
rpc.detailed-metrics.getBlockInfo_num_ops             从指定datanode获取block的次数                                                                                                                                                                                                                               
rpc.detailed-metrics.getMapCompletionEvents_avg_time  reduce获取已经完成的map输出地址事务的均匀时候
rpc.detailed-metrics.getMapCompletionEvents_num_ops   reduce获取已经完成的map输出地址事务的次数
rpc.detailed-metrics.getProtocolVersion_avg_time      获取rpc和谈版本信息的均匀时候
rpc.detailed-metrics.getProtocolVersion_num_ops       获取rpc和谈版本信息的次数
rpc.detailed-metrics.getTask_avg_time                 当子过程启动后，获取jvmtask的均匀时候
rpc.detailed-metrics.getTask_num_ops                  当子过程启动后，获取jvmtask的次数
rpc.detailed-metrics.ping_avg_time                    子过程周期性的检测父过程是否还存活的均匀时候
rpc.detailed-metrics.ping_num_ops                     子过程周期性的检测父过程是否还存活的次数
rpc.detailed-metrics.recoverBlock_avg_time             为指定的block开端恢复标识表记标帜生成的均匀时候
rpc.detailed-metrics.recoverBlock_num_ops              为指定的block开端恢复标识表记标帜生成的次数
rpc.detailed-metrics.reportDiagnosticInfo_avg_time     向父过程呈报任务错误消息的均匀时候，该操纵应尽可能少，这些消息会在jobtracker中保存
rpc.detailed-metrics.reportDiagnosticInfo_num_ops      向父过程呈报任务错误消息的次数
rpc.detailed-metrics.startBlockRecovery_avg_time       开端恢复block的均匀时候
rpc.detailed-metrics.startBlockRecovery_num_ops        开端恢复block的次数
rpc.detailed-metrics.statusUpdate_avg_time             报告请示子过程进度给父过程的均匀时候
rpc.detailed-metrics.statusUpdate_num_ops              报告请示子过程进度给父过程的次数
rpc.detailed-metrics.Block_avg_time              更新block到新的标识表记标帜及长度的均匀操纵时候
rpc.detailed-metrics.Block_num_ops               更新block到新的标识表记标帜及长度的次数
jvm参数监控metrics
jvm.JvmMetrics.GcCount                            JVM进行GC的次数
jvm.JvmMetrics.GcTimeMillis                        GC花费的时候，单位为奥妙
jvm.JvmMetrics.LogError                            Log中输出ERROR的次数
jvm.JvmMetrics.LogFatal                            Log中输出FATAL的次数
jvm.JvmMetrics.LogInfo                            Log中输出INFO的次数
jvm.JvmMetrics.LogWarn                            Log中输出WARN的次数
jvm.JvmMetrics.MemHeapCommittedM                JVM分派的堆大小（单位MB）
jvm.JvmMetrics.MemHeapUsedM                        JVM已经应用的堆大小（单位MB）
jvm.JvmMetrics.MemNonHeapCommittedM                JVM分派给非堆的大小（单位M）
jvm.JvmMetrics.MemNonHeapUsedM                    JVM已应用的非堆的大小（单位M）
jvm.JvmMetrics.ThreadsBlocked                    处于BLOCKED状况线程数量
jvm.JvmMetrics.ThreadsNew                        处于NEW状况线程数量
jvm.JvmMetrics.ThreadsRunnable                    处于RUNNABLE状况线程数量
jvm.JvmMetrics.ThreadsTerminated                处于TERMINATED状况线程数量
jvm.JvmMetrics.ThreadsTimedWaiting                处于TIMED_WAITING状况线程数量
jvm.JvmMetrics.ThreadsWaiting                    处于WAITING状况线程数量