wojkxlq 发表于 2017-12-20 13:36:30

Solr6.6.0 用 SimplePostTool索引文件的启示

  本文主要是介绍通过SimplePostTool工具索引文件的结果进行确认,针对不同的文件,索引的结果不同。
  1、创建core
  首先启动solr,建立名称为data的core,SimplePostTool工具使用参照:http://www.cnblogs.com/shaosks/p/7390523.html
  由于导入文件的过程需要用到post.jar这个包,所以先把solr-6.6.0\example\exampledocs文件夹下的post.jar拷贝到solr-6.6.0\bin文件夹下。
  solr start;  solr create -c data
  
  2、导入文件
  和solr-6.6.0\bin文件夹同级目录下Import文件夹,下面有以下有8个文件:

  其中前三个文件都是结构化的,有对应的字段。后面的文件就是非结构化的文件。现在导入
  2.1、2017-07-07_info.csv文件
  内容如下,需要注意的是csv文件由于包含中文,所以必须以utf-8格式保存,否则导入后,中文是乱码

    2.2、books.json文件
  内容如下,需要注意的是books.json格式不能保存为utf-8的格式,否则导入时报错。

  2.3、xml文件
  内容如下,需要注意的是xml文件由于包含中文,所以必须以utf-8格式保存,否则导入后,中文是乱码
  


  3、配置文件
  注意data\conf下的配置文件managed-schema,注意里面的内容在导入前和导入后的变化,在导入后,对于上面的csv,json和json这三个结构化文档中涉及的字段,都会自动增加到managed-schema文档中
  下面这些字段都是导入过程自动增加的

  4、导入结果查询
    1、2017-07-07_info.csv索引结果
  奇怪的是原来csv文件中title字段,变为了_title,前面增加了一个下划线,经过多次测试,都第一个字段,增加一个下划线。

  把文件中的title字段改为scheme,

  重新导入,查询结果:scheme字段前面又增加了一个下划线

  在CSV文件增加一列blank_title,该列都是空值

  重新导入,结果正常,而且blank_title也不会索引

    2、books.json索引结果

    3、mem.xml索引结果

    4、十九大报告全文.docx索引结果

  同样doc, pdf和txt格式的文件索引结果都是类似的,因此对这样的文件索引要用其它方式。
  由于solr默认不包含中文分词器,因此导入的中文数据都不能进行很好的分词
  总结:SimplePostTool工具适合索引csv/json/xml这种结构化文档,像doc, pdf和txt这种非结构化,索引数据后无法搜索相关的信息
页: [1]
查看完整版本: Solr6.6.0 用 SimplePostTool索引文件的启示