Hive SQL 监控系统 - Hive Falcon
1.概述在开发工作当中，提交 Hadoop 任务，任务的运行详情，这是我们所关心的，当业务并不复杂的时候，我们可以使用 Hadoop 提供的命令工具去管理 YARN 中的任务。在编写 Hive SQL 的时候，需要在 Hive 终端，编写 SQL 语句，来观察 MapReduce 的运行情况，长此以往，感觉非常的不便。另外随着业务的复杂化，任务的数量增加，此时我们在使用这套流程，已预感到力不从心，这时候 Hive 的监控系统此刻便尤为显得重要，我们需要观察 Hive SQL 的 MapReduce 运行详情以及在 YARN 中的相关状态。
因此，我们经过调研，从互联网公司的一些需求出发，从各位 DEVS 的使用经验和反馈出发，结合业界的一些大的开源的 Hadoop SQL 消息监控，用监控的一些思考出发，设计开发了现在这样的监控系统：Hive Falcon。
Hive Falcon 用于监控 Hadoop 集群中被提交的任务，以及其运行的状态详情。其中 Yarn 中任务详情包含任务>
[*] ［Hive Falcon 下载地址］
2.内容
Hive Falcon 涉及以下内容：
[*] Dashboard
[*] Query
[*] Tables
[*] Tasks
[*] Clients &Nodes
2.1 Dashboard
我们通过在浏览器中输入 http://host:port/hf，访问 Hive Falcon 的 Dashboard 页面。该页面包含以下内容：
[*] Hive Clients
[*] Hive Tables
[*] Hadoop DataNodes
[*] YARN Tasks
[*] Hive Clients Graph
如下图所示：
http://images2015.cnblogs.com/blog/666745/201610/666745-20161003110947223-1646273290.png
2.2 Query
Query 模块下，提供一个运行 Hive SQL 的界面，该界面可以用来查看观察 SQL 运行的 MapReduce 详情。包含 SQL 编辑区，日志输出，以及结果展示。如下图所示：
http://images2015.cnblogs.com/blog/666745/201610/666745-20161003111129160-1119518131.png
提示：在 SQL 编辑区可以通过>2.3 Tables
Tables 展示 Hive 中所有的表信息，包含以下内容：
[*] 表名
[*] 表类型（如：内部表，外部表等）
[*] 所属者
[*] 存放路径
[*] 创建时间
如下图所示：
http://images2015.cnblogs.com/blog/666745/201610/666745-20161003111428098-380038514.png
每一个表名都附带一个超链接，可以通过该超链接查看该表的表结构，如下图所示：
http://images2015.cnblogs.com/blog/666745/201610/666745-20161003111530770-454171480.png
2.4 Tasks
Tasks 模块下所涉及的内容是 YARN 上的任务详情，包含的内容如下所示：
[*] All（所有任务）
[*] Running（正在运行的任务）
[*] Finished（已完成的任务）
[*] Failed（以失败的任务）
[*] Killed（已失败的任务）
如下图所示：
http://images2015.cnblogs.com/blog/666745/201610/666745-20161003111836973-62077469.png
2.5 Clients & Nodes
该模块展示 Hive Client 详情，以及 Hadoop DataNode 的详情，如下图所示：
http://images2015.cnblogs.com/blog/666745/201610/666745-20161003112000567-1879271963.png
2.6 脚本命令
命令描述hf.sh start启动 Hive Falcon hf.sh status查看 Hive Falconhf.sh stop停止 Hive Falconhf.sh restart重启 Hive Falconhf.sh stats查看 Hive Falcon 在 Linux 系统中所占用的句柄数量3.数据采集
Hive Falcon 系统的各个模块的数据来源，所包含的内容，如下图所示：
http://images2015.cnblogs.com/blog/666745/201611/666745-20161117144344842-1535880879.png
页:
[1]