半只蚂蚁 发表于 2017-12-19 19:07:59

Cloudera5.8.3:Flume+Morphline+Solr开发小技巧

  1.Flume和Morphline添加日志打印
  

log4j.logger.org.apache.flume.sink.solr=DEBUG  
log4j
.logger.org.kitesdk.morphline=TRACE  

  2.在线更新solr collection配置
  

$ solrctl instancedir --update url_analysis_records url_analysis_configs/  
$ solrctl collection
--reload url_analysis_records  

  3.删除solr已经有的index文件
  

<delete><query>*:*</query></delete>  
<commit/>
  

  4.CDH5.8.3对应的Solr 4时区怎么更改?
  不支持更改时区,Solr4时区有bug。有下面3种方式规避。
  1)可以建个额外字段专门存UTC时区的时间。
  2)直接用long型存。
  3)升级到Solr5。

另外附几个在开发时有用的官网:
1.Morphline资料
http://kitesdk.org/docs/current/morphlines/morphlines-reference-guide.html
2.flume配置资料
https://archive.cloudera.com/cdh5/cdh/5/flume-ng/FlumeUserGuide.html?
3.flume+solr配置资料
http://www.cloudera.com/documentation/enterprise/5-8-x/topics/search_nrt_index_flume_solr_sink.html
4.solr支持的开发语言
https://wiki.apache.org/solr/IntegratingSolr#Integrating_Solr_With_Other_
页: [1]
查看完整版本: Cloudera5.8.3:Flume+Morphline+Solr开发小技巧