怎么在Hadoop集群中新增ElasticSearch操作和Hadoop插件使用

obeckham

　　在没有引入elasticsearch-hadoop-xxx.jar相应的Jar包时，的在Hive中执行ElasticSearch外部表操作，会报如下的异常：
　　[plain] view plain copy
　　Exception in thread "main" java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: "ip-172-17-30-146/172.17.30.146"; destination host is: "ip-172-17-30-146":9000;
　　通过Spark查看执行任务的MR日志，报错如下：
　　[plain] view plain copy

　　.hadoop.mapreduce.v2.app.MRAppMaster failed in state INITED; cause: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException:>
　　org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException:>　　此时报的是Yarn服务器上面找不到ES-Hadoop相关的类，此时需要做的将elasticsearch-hadoop-xxx.jar增加到Hadoop相关应用的环境中，根据目前我所用到的环境，需要增加的应用有：
　　[plain] view plain copy
　　1.Hive
　　2.Spark
　　3.Yarn
　　需要将elasticsearch-hadoop-xxx.jar增加到所有服务器这些应用的环境中，然后重新执行执行就不会报这个问题了。
　　另外：目前我的做法是手动将elasticsearch-hadoop-6.2.4.jar一台一台复制到Yarn服务器的lib目录下，不知道CDH是否有简化的管理功能，可以直接上传对应的Jar包？
　　为了操作上的操作，我准备了一个批命令，命令记录如下：
　　[plain] view plain copy
　　#/data/share_libs是我的第三共享jar包的目录
　　cd /data/share_libs
　　wget https://artifacts.elastic.co/downloads/elasticsearch-hadoop/elasticsearch-hadoop-6.2.4.zip
　　unzip elasticsearch-hadoop-6.2.4.zip
　　cd elasticsearch-hadoop-6.2.4/dist
　　#注：这里不要把所有elasticsearch-hadoop*.jar文件都拷贝过去了，否则Yarn中会报这些不同的Jar包的版本冲突
　　mv elasticsearch-hadoop-6.2.4.jar /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/jars/
　　cd /data/share_libs
　　#删除不必要的资源
　　rm -f elasticsearch-hadoop-6.2.4.zip
　　rm -rf elasticsearch-hadoop-6.2.4
　　怎么在Hadoop集群中新增ElasticSearch操作和Hadoop插件使用
　　#注：目录/data/share_libs，在Spark中设置为了其第三库的目录，在Hive中也设置为了其auxlib目录，因而在这里建立软件链接后，Spark和Hive都可以使用
　　#Spark中设置第三库的目录，可以参看前面一篇文章：https://blog.csdn.net/fenglibing/article/details/80437246
　　ln -s /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/jars/elasticsearch-hadoop-6.2.4.jar elasticsearch-hadoop-6.2.4.jar
　　cd /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop-yarn/lib
　　ln -s /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/jars/elasticsearch-hadoop-6.2.4.jar elasticsearch-hadoop-6.2.4.jar
　　以下是通过创建一个外部表，然后测试查询的语句：
　　[sql] view plain copy
　　create external table test_in_es
　　(
　　id string,
　　k string,
　　v string
　　)
　　STORED BY'org.elasticsearch.hadoop.hive.EsStorageHandler'
　　TBLPROPERTIES(
　　'es.nodes' = 'http://vpc-es-xxxxxxxxx.eu-west-1.es.amazonaws.com:80',
　　'es.index.auto.create' = 'false',
　　'es.nodes.wan.only' = 'true',
　　'es.resource' = 'test/test',
　　'es.read.metadata' = 'true',
　　'es.mapping.names' = 'id:_metadata._id,k:k, v:v');
　　select * from test_in_es;
　　如果遇到“EsHadoopIllegalArgumentException:No data nodes with HTTP-enabled available”这样的异常，请查看这篇文章：https://blog.csdn.net/fenglibing/article/details/80478551。
　　利用spark读取es数据源的简单示例
　　import org.elasticsearch.spark.sql._val esOptions = Map("es.nodes"->"192.168.1.2,192.168.1.3", "es.scroll.size"->"1000", "es.field.read.as.array.include"->"SampleField")val esDF = sqlContext.read.format("org.elasticsearch.spark.sql").options(esOptions).load("sampleindex/es-spark")esDF.registerTempTable("esdemotbl")
　　es.scroll.size 一次性读入的记录数，默认是10, 如果不设置为大一点的值，要从es中读取1亿条数据，那将是一个漫长的过程
　　es.field.read.as.array.include 有的字段在es中是以string类型存储，但其中包含逗号(,), spark默认认为这是数组类型，如果读取这种字段的话，就会报错，怎么办，那就用es.field.read.as.array.include来显式指明
　　spark读取es中数据的时候，partition数目取决于es中指定index的shard数目，为了获得比较高的并发读取性能，建议适当设置shard数目，为什么是适当，因为具体取决于集群规模等多种因素。
　　字段名的大小写问题
　　在hive中，字段名是_大小写不敏感_的, 但在ES中是大小写敏感的
　　你说，这又怎么样。 呵呵， 这意味着不做特殊处理，永远无法读出es中大写字段名的内容，你看到的将是满屏的NULL
　　这该怎么破，很简单，指定 es.mapping.names
　　比如在es中，字段名为DemoField, 要读出其中的内容，hive表的字义就该这样写
　　create external table es_demo_tbl(demofield string)STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler'TBLPROPERTIES('es.nodes'='192.168.1.2,192.168.1.3', 'es.resource'='demoindex/sample','es.mapping.names'='demofield:DemoField')
　　注意是先hive中的字段名，然后是es中的字段名