Hue3.9 安装教程：华丽的Spark，Hadoop UI

萨尔法保护

Hue3.9
　　因网上没有一篇教程可以完全参照安装成功，我将我安装过程中遇到的问题集结起来，以及其他教程的精华部分整理好，内容如下：
　　Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据,支持Spark编辑器和仪表板（Dashboard）,支持HBase浏览器，能够可视化数据、查询数据、修改HBase表等。
环境准备
　　CentOS6.6 ，提前预装maven，git，jdk7

同时在root下安装如下内容：


yum install -y gcc libxml2-devel libxslt-devel cyrus-sasl-devel mysql-devel python-devel python-setuptools python-simplejson sqlite-devel ant gmp-devel cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi

下载源码


cd /opt/
git clone https://github.com/cloudera/hue.git

修改POM


vim /opt/hue/maven/pom.xml

• 将Hadoop和Spark修改为相应的版本：
  

<hadoop-mr1.version>2.6.0</hadoop-mr1.version>
<hadoop.version>2.6.0</hadoop.version>
<spark.version>1.4.0</spark.version>

• 将hadoop-core修改为hadoop-common（core会报错找不到）
  

<artifactId>hadoop-common</artifactId>

• 将hadoop-test的版本改为1.2.1：
  

<artifactId>hadoop-test</artifactId>
<version>1.2.1</version>
　　4.将两个ThriftJobTrackerPlugin.java文件删除，分别在如下两个目录：


/opt/hue/desktop/libs/hadoop/java/src/main/java/org/apache/hadoop/thriftfs/ThriftJobTrackerPlugin.java
/opt/hue/desktop/libs/hadoop/java/src/main/java/org/apache/hadoop/mapred/ThriftJobTrackerPlugin.java

漫长的编译过程


cd /opt/hue
make apps
　　期间会提示spark-assembly_2.10：1.4.0.jar找不到的错误：


Failure to find org.apache.spark:spark-assembly_2.10:jar:1.4.0
　　由于maven仓库中没有这个jar包。所以我们需要将$SPAEK_HOME/lib中的spark-assembly-1.4.0-hadoop2.6.0.jar重命名为park-assembly-1.4.0.jar放到~/.m2/repository/org/apache/spark/spark-assembly_2.10/1.4.0/中即可!
初次启动
　　编译成功后，hue就可以运行了


/opt/hue/build/env/bin/supervisor
　　启动后通过浏览器访问8000端口。

虽然启动了，我们看到很多功能都报错，因为我们还没有为Hue进行正确的配置。
参数配置
　　vim desktop/conf/pseudo-distributed.ini

首先是desktop配置项：

配置项内容说明
default_hdfs_superuserhadoopHDFS管理用户
http_hostmasterHue Web Server所在主机/IP
http_port8000Web Server服务端口
server_userhadoop运行Hue Web Server的进程用户
server_grouphadoop运行Hue Web Server的进程用户组
default_userrootHue管理员　　HDFS的配置：

配置项内容说明
fs_defaultfshdfs://master:8020HDFS管理用户
webhdfs_urlhttp://master:50070/webhdfs/v1使用WebHdfs　　Yarn的配置：

配置项内容说明
resourcemanager_hostmaster对应yarn-site.xml配置项yarn.resourcemanage
resourcemanager_port8032ResourceManager服务端
resourcemanager_api_urlhttp://master:8088对应于yarn-site.xml配置项yarn.resourcemanage
proxy_api_urlhttp://master:8888对应yarn-site.xml配置项yarn.web-proxy.address
history_server_api_urlhttp://master:19888对应mapred-site.xml配置项mapreduce.jobhistory.we　　zookeeper配置

配置项内容说明
host_portsmaster:2181,slave1:2181,slave2:2181多个zookeeper逗号分隔　　Hbase配置

配置项内容说明
hbase_clusters(HBasemaster:9090)
对接配置
　　HDFS
　　在NameNode的hdfs-site.xml增加如下配置：


<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
　　在NameNode的core-site.xml增加如下配置：


<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
　　成功后如下图所示：

可以对文件进行删除，移动，下载，和预览，非常方便


　　YARN

不要修改yarn的配置，直接上效果图：

我们可以查看每个任务的运行情况


　　HBase

启动Thrift Server：


hbase thrift start
　　我们可以通过hue查看所有的Hbase表，并且对内容进行查找，删除，更新等一系列操作



版权声明：本文为博主原创文章，未经博主允许不得转载。