设为首页 收藏本站
查看: 585|回复: 0

[经验分享] Hadoop自带Web管理监控功能

[复制链接]

尚未签到

发表于 2016-12-12 07:06:07 | 显示全部楼层 |阅读模式
       Hadoop的Web管理主要分为两块,一块是对文件系统的监控,一块是对任务的监控。
   
  文件系统监控:
   
        浏览文件系统;
        namenode的日志列表以及查看日志;
        集群的概况,包括配置容量、DFS占用容量、非DFS占用容量、DFS的可使用容量、DFS已使用百分比、DFS可使用百分比、活结点数、死节点数、namenode的存储目录及类型和状态;
        点击活节点或者死节点数可以看到所有对应节点的类表,以及他们的节点名称,Last Contact的值(LastContact的意思是表明DataNode有多少秒时间未向NameNode发送心跳包了),管理状态,配置容量,已使用容量,非DFS使用容量,剩余容量,已使用百分比,已使用的进度条,剩余百分比,块数。
   
  任务监控:
   
        集群摘要信息(堆的大小,所占的比例),Map任务数,Reduce任务数,共有意见书,节点数量,Map任务能力,Reduce任务能力,平均任务和节点(这点我不明白什么意思,原文:Avg. Task/Node),列入黑名单的节点;
        调度信息:队列名称,调度信息;
        过滤查询:可根据Jobid,优先级,用户名等信息查询任务;
        可以查看正在运行,已经完成或者执行失败的Job的信息:状态,完成所需时间,该Job的map和reduce信息:完成进度,总任务数,待完成任务数,正在执行的,已完成的,死掉的,失败的和死掉的个数比(按照我的理解应该是失败后并再次尝试并成功的与死掉的个数比);
        还有各种数据的统计包括Job、FileSystem、Map-Reduce Framework,统计具体小点太多,并且有一些统计功能我不是很了解,比较模糊,还是上图,如下:
  
DSC0000.png

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-312841-1-1.html 上篇帖子: Upgrade hadoop need think about it 下篇帖子: Hadoop关于最大map reducer数目
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表