sqoop1.4.5将mysql中的数据导入到HBase中

在水一万

　　什么是sqoop？
　　关于发音，困扰了我很久，一番类比之后，决定读为“丝库坡”，英语老师看见了会不会疯掉，呵呵，我就是这样一个逗x。
　　
　　书归正传：
Sqoop【SQL-To-Hadoop】是将关系型数据库的数据(MySQL or Oracle or Postgre)导入到HDFS及其子系统中(Hive, HBase)的工具
　　
　　sqoop有两个版本，sqoop1和sqoop2，两者特性不同，本文仅介绍sqoop1的使用，其实是精力有限
　　
　　sqoop1.4.5的搭建过程如下：
　　1. 软件的版本:
　　hadoop-1.0.3
zookeeper-3.4.4
hbase-0.94.0
sqoop-1.4.5
　　
　　2. 基础的Hadoop上搭建Hbase的步骤略过
　　
　　3. 解压压缩包并重命名
cd /usr/local/
tar -xzvf sqoop-1.4.5.bin__hadoop-1.0.0.tar.gz
mv sqoop-1.4.5.bin__hadoop-1.0.0 sqoop
　　
　　4. 将mysql的jdbc驱动，复制到sqoop项目的lib目录下
使用的mysql驱动包版本： mysql-connector-java-5.1.34-bin.jar
注意： mysql connector 5.1.32以下版本mysql jar有bug
　　
　　5. 重命名配置文件并指定其参数
cd  /usr/local/sqoop/conf
mv sqoop-env-template.sh sqoop-env.sh
本次使用到了hadoop hbase及zookeeper，因此需要指定如下参数
export HADOOP_COMMON_HOME=/usr/local/hadoop
#指定hadoop-*-core.jar文件的位置
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HBASE_HOME=/usr/local/hbase
export ZOOCFGDIR=/usr/local/zookeeper/conf
　　
　　6. 尝试用sqoop连接到Mysql数据库
　　#列出Mysql的dbName下的所有表
　　/usr/local/sqoop/bin/sqoop list-tables --connect jdbc:mysql://ip:3306/dbName --username XXX --password XXX
　　
　　7. 数据导入
　　带主键的全列操作
/usr/local/sqoop/bin/sqoop import --connect jdbc:mysql://ip:3306/dbName --username XXX --password XXX --table MysqlTableName --hbase-table HBaseTableName  --column-family HBase_CF --hbase-create-table
　　
　　带主键的部分列操作
/usr/local/sqoop/bin/sqoop import --connect jdbc:mysql://ip:3306/dbName --username XXX --password XXX --table MysqlTableName --hbase-table HBaseTableName --columns column1,column2 --column-family HBase_CF --hbase-create-table
　　
　　无主键的部分列导入,将其中一个设为rowkey
/usr/local/sqoop/bin/sqoop import --connect jdbc:mysql://ip:3306/dbName --username XXX --password XXX --table MysqlTableName --hbase-table HBaseTableName --columns column1,column2 --column-family HBase_CF --hbase-row-key column1 --hbase-create-table
　　
　　8.源码中代码结构图如下
　　原理是利用mapreduce的job向hbase中写入数据