珀耳塞福建 发表于 2018-10-7 06:54:42

使用sqoop将数据从mysql同步到hbase

  7.2.13. Importing Data Into HBase
  --hbase-table 指定HBase表。
  每一行输入的数据都会转换为HBase的Put操作作为输出到HBase表的行。
  默认情况下,Sqoop会使用--split-by的列[上面的create_date]作为rowkey。
  也可以通过--hbase-row-key指定作为rowkey的列。
  每一个输出行都会放在同一个列族中,必须通过--column-family指定列族。
  不能使用--direct【会冲突】。
  --hbase-row-key也可以指定复合行健,中间使用逗号隔开。
  默认如果HBase表和列族不存在,Sqoop会直接报错退出,所以需要在Sqoop执行之前创建好HBase表和列族。
  如果指定--hbase-create-table和列族,HBase表不存在则会自动创建。
  Sqoop会序列化所有的值,以字符串形式转化为utf-8的字节数组存到HBase中。
  Sqoop会跳过除了行健之外所有为MULL的列。
  指定--hbase-bulkload可以采用大批量加载来替代直接写入HBase。

页: [1]
查看完整版本: 使用sqoop将数据从mysql同步到hbase