Hadoop伪分布安装详解(五)

nikoo

　　目录：
　　1.修改主机名和用户名
　　2.配置静态IP地址
　　3.配置SSH无密码连接
　　4.安装JDK1.7
　　5.配置Hadoop
　　6.安装Mysql
　　7.安装Hive
　　8.安装Hbase
　　9.安装Sqoop
　　********************

8.安装Hbase
　　HBase是基于HDFS的一种列式数据库，接下来使用伪分布式的安装方式。
　　（1）将/opt/hbase-1.0.0-cdh5.6.0.tar.gz解压
　　

tar  -zxvf  /opt/hbase-1.0.0-cdh5.6.0.tar.gz　　

　　（2） 配置Hbase相关配置文件，在其conf目录下可查看所有配置文件，如下图：

　　打开hbase-env.sh

[iyunv@neusoft-master conf]# vi  hbase-env.sh   

•     #这里同时需要注释掉与zookeeper相关配置，在这里使用自带的Zookeeper。不使用单独的zookeeper。一般在文件中已经作了注释，无需修改该配置文件。
  
•     #在文件末尾追加JAVA_HOME和HBASE_MANAGERS的配置信息
  

　　

export JAVA_HOME=/usr/java/default　　
export HBASE_MANAGES_ZK
=true     #表示使用自带的zookeeper　　

　　（3）配置regionservers

[iyunv@neusoft-master conf]# vi regionservers  

　　该配置选项为当Hbase启动的时候，Hreginserver进程是根据conf/regionserver文件中的节点来启动的，因此，这里需要根据自己的主机名进行填写。
　　（4）配置hbase-site.xml
　　

<configuration>　　
<property>
　　
<name>hbase.rootdir</name>
　　
<value>hdfs://neusoft-master:9000/hbase</value>
　　
</property>
　　
<property>
　　
<name>hbase.cluster.distributed</name>
　　
<value>true</value>   true表示运行模式为完全分布式模式，如果是伪分布更改爲false
　　
</property>
　　

　　
</configuration>
　　

　　（4）配置环境变量 vi /etc/profile
　　

export HBASE_HOME=/opt/hbase-1.0.0-cdh5.6.0　　
export PATH
=$JAVA_HOME/bin/:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SQOOP_HOME/bin　　

   

　　

source  /etc/profile  #配置生效　　

　　（5）启动并验证
　　（a）首先启动Hadoop
　　

[iyunv@neusoft-master ~]# cd /opt/hadoop-2.6.0-cdh5.6.0/sbin/　　
[iyunv@neusoft
-master sbin]# ./start-all.sh 　　

　　检验hadoop启动是否成功
　　
　　（b）启动Hbase进程
　　

[iyunv@neusoft-master bin]# chmod +x /opt/hbase-1.0.0-cdh5.6.0/bin/start-hbase.sh   #启动文件赋权限　　
[iyunv@neusoft
-master bin]# ./opt/hbase-1.0.0-cdh5.6.0/bin/start-hbase.sh   #启动hbase进程　　

　　使用jps进程查看是否有如下进程

• HMaster              #Hbase的配置节点。默认在start-habse.sh启动时启动。
  
• HregionServer    #该配置选项为当Hbase启动的时候，Hreginserver进程是根据conf/regionserver文件中的节点来启动的。
  
• HQuorumpeer     #该进程为Zookeeper进程
  

　　（c）进入Hbase命令行模式
　　

[iyunv@neusoft-master conf]# hbase  shell　　

　　注意：安装完HBase，需要采用NTP时间同步服务器使得各节点时间一致，否则有了误差,Hbase会启动失败。

9.安装Sqoop
　　Sqoop是一个从关系型数据库抽取到Hadoop中，用于进一步处理数据。
　　（1）将/opt/sqoop-1.4.6-cdh5.6.0.tar.gz解压
　　

tar -zxvf   /opt/sqoop-1.4.6-cdh5.6.0.tar.gz　　

　　（2）[iyunv@neusoft-master bin]# vi /etc/profile
　　

export SQOOP_HOME=/opt/sqoop-1.4.6-cdh5.6.0　　
export PATH
=$JAVA_HOME/bin/:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SQOOP_HOME/bin　　

　　使得环境变量生效
　　

source  /etc/profile  #使得环境变量生效　　

　　(3)进入mysql执行以下
　　mysql>grant all privileges on  *.* to 'sqoop'@'neusoft-master'>
　　mysql>select host,user,password  from mysql.user
　　mysql>flush privileges;
　　mysql>create database sqoop;
　　mysql>use sqoop;
　　mysql>create table test(id int,name varchar(20),age int)
　　mysql>insert into test(1,'tag',20)
　　如果上述语句出错，插入语句可直接指定具体字段：mysql>insert into test(id,name,age) values(1,'tag',20)
　　（4）linux命令行中执行下述sqoop代码：
　　

sqoop  list-databases  --connect  jdbc:mysql://neusoft-master:3306/  --username  sqoop  --password  sqooppwd　　

• 执行完后，即可显示MySql数据库中所有实例：
  

　　hive
　　mysql
　　sqoop
　　test
　　END~