Hive SQL 监控系统 - Hive Falcon

长枪不倒

1.概述
　　在开发工作当中，提交 Hadoop 任务，任务的运行详情，这是我们所关心的，当业务并不复杂的时候，我们可以使用 Hadoop 提供的命令工具去管理 YARN 中的任务。在编写 Hive SQL 的时候，需要在 Hive 终端，编写 SQL 语句，来观察 MapReduce 的运行情况，长此以往，感觉非常的不便。另外随着业务的复杂化，任务的数量增加，此时我们在使用这套流程，已预感到力不从心，这时候 Hive 的监控系统此刻便尤为显得重要，我们需要观察 Hive SQL 的 MapReduce 运行详情以及在 YARN 中的相关状态。
　　因此，我们经过调研，从互联网公司的一些需求出发，从各位 DEVS 的使用经验和反馈出发，结合业界的一些大的开源的 Hadoop SQL 消息监控，用监控的一些思考出发，设计开发了现在这样的监控系统：Hive Falcon。

　　Hive Falcon 用于监控 Hadoop 集群中被提交的任务，以及其运行的状态详情。其中 Yarn 中任务详情包含任务>

• 　　［Hive Falcon 下载地址］
  

2.内容
　　Hive Falcon 涉及以下内容：

• 　　Dashboard
  
• 　　Query
  
• 　　Tables
  
• 　　Tasks
  
• 　　Clients &  Nodes
  

2.1 Dashboard
　　我们通过在浏览器中输入 http://host:port/hf，访问 Hive Falcon 的 Dashboard 页面。该页面包含以下内容：

• 　　Hive Clients
  
• 　　Hive Tables
  
• 　　Hadoop DataNodes
  
• 　　YARN Tasks
  
• 　　Hive Clients Graph
  

　　如下图所示：

http://images2015.cnblogs.com/blog/666745/201610/666745-20161003110947223-1646273290.png

2.2 Query
　　Query 模块下，提供一个运行 Hive SQL 的界面，该界面可以用来查看观察 SQL 运行的 MapReduce 详情。包含 SQL 编辑区，日志输出，以及结果展示。如下图所示：

http://images2015.cnblogs.com/blog/666745/201610/666745-20161003111129160-1119518131.png

　　提示：在 SQL 编辑区可以通过>2.3 Tables
　　Tables 展示 Hive 中所有的表信息，包含以下内容：

• 　　表名
  
• 　　表类型（如：内部表，外部表等）
  
• 　　所属者
  
• 　　存放路径
  
• 　　创建时间
  

　　如下图所示：

http://images2015.cnblogs.com/blog/666745/201610/666745-20161003111428098-380038514.png

　　每一个表名都附带一个超链接，可以通过该超链接查看该表的表结构，如下图所示：

http://images2015.cnblogs.com/blog/666745/201610/666745-20161003111530770-454171480.png

2.4 Tasks
　　Tasks 模块下所涉及的内容是 YARN 上的任务详情，包含的内容如下所示：

• 　　All（所有任务）
  
• 　　Running（正在运行的任务）
  
• 　　Finished（已完成的任务）
  
• 　　Failed（以失败的任务）
  
• 　　Killed（已失败的任务）
  

　　如下图所示：

http://images2015.cnblogs.com/blog/666745/201610/666745-20161003111836973-62077469.png

2.5 Clients & Nodes
　　该模块展示 Hive Client 详情，以及 Hadoop DataNode 的详情，如下图所示：

http://images2015.cnblogs.com/blog/666745/201610/666745-20161003112000567-1879271963.png

2.6 脚本命令
命令描述hf.sh start启动 Hive Falcon hf.sh status查看 Hive Falconhf.sh stop停止 Hive Falconhf.sh restart重启 Hive Falconhf.sh stats查看 Hive Falcon 在 Linux 系统中所占用的句柄数量3.数据采集
　　Hive Falcon 系统的各个模块的数据来源，所包含的内容，如下图所示：

http://images2015.cnblogs.com/blog/666745/201611/666745-20161117144344842-1535880879.png