全文搜索引擎Solr工具使用
Solr是一个高性能,采用Java5开发,基于Lucene的全文搜索服务器。同时对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文搜索引擎。1.下载solr
官网:http://lucene.apache.org/solr/
2.目录结构(版本:6.3.0)
3.启动solr
solr默认使用jetty部署,也可以使用tomcat部署,本次采用默认jetty部署,进入solr目录,输入:bin/solr start命令,出现Happy searching!字符证明启动成功,默认端口号8983
4.访问solr
浏览器访问本地solr地址:http://localhost:8983/solr/#/
5.新增配置文件
在server/solr目录下,有一个README.txt的文件,其中说明了如何建立solr core。最简单的建立是直接复制solr中为我们提供好的例子,打开server/solr/configsets目录会发现里面已经有三个例子,因为我们是要从数据库导入数据,所以复制 “data_driven_schema_configs” 这个例子并改名为 “case_task”。
6.导入中文分词工具IK Analyzer
下载地址:http://download.csdn.net/detail/linzhiqiang0316/9537326
IK分词包内容:
7.整合中文分词工具IK Analyzer
将ik-analyzer-solr5-5.x.jar这个jar包放入solr项目下的dist目录下面,将IKAnalyzer.cfg.xml,mydict.dic(搜狗的扩展词库),stopword.dic放在solr项目下的server/resources目录下面
8.导入需要的jar包
为了导入数据和链接mysql,我们还需要导入两个重要的jar包。由于mysql的jar包并没有在项目中,我是复制了一份放到了dist目录下面了。另外两个需要的jar包就是dist目录下带有“dataimport”标识的jar包。
然后打开myCollections/conf/solrconfig.xml,引用上面提到的jar包和中文分词工具jar包如下。
9.数据库字段
10.添加requestHandler
继续修改case_task/conf/solrconfig.xml,搜索 <requestHandler name="/select" class="solr.SearchHandler"> ,然后在该行之上添加如下代码。
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">data-config.xml</str>
</lst>
</requestHandler>
11.建立连接配置文件
在case_task/conf目录下新建data-config.xml, 内容如下。
<?xml version="1.0" encoding="UTF-8"?>
<dataConfig>
<dataSource name="casev2" type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3307/casev2" user="root" password="123456" batchSize="-1" />
<document>
<entity name="case_task" pk="id"dataSource="casev2" query="select * fromcase_task"
deltaImportQuery="select * from case_task where id='${dih.delta.id}'"
deltaQuery="select id from case_task where last_modify_time> '${dataimporter.last_index_time}'">
<field column="id" name="id"/>
<field column="case_title" name="case_title"/>
<field column="case_desc" name="case_desc"/>
<field column="time_point" name="time_point"/>
<field column="last_modify_time" name="last_modify_time"/>
</entity>
</document>
</dataConfig>
说明:
dataSource是数据库数据源。Entity就是一张表对应的实体,pk是主键,query是查询语句。Field对应一个字段,column是数据库里的column名,后面的name属性对应着Solr的Filed的名字。其中solrdata是数据库名,case_task是表名。
其中deltaQuery是增量索引,原理是从数据库中根据deltaQuery指定的SQL语句查询出所有需要增量导入的数据的ID号。然后根据deltaImportQuery指定的SQL语句返回所有这些ID的数据,即为这次增量导入所要处理的数据。核心思想是:通过内置变量“${dih.delta.id}”和 “${dataimporter.last_index_time}”来记录本次要索引的id和最近一次索引的时间。
12.managed-schema配置field信息
搜索 <field name= ,添加关联数据库表Column的信息:
<field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" />
<!-- doc values are enabled by default for primitive types such as long so we don't index the version field-->
<field name="_version_" type="long" indexed="false" stored="false"/>
<field name="_root_" type="string" indexed="true" stored="false" docValues="false" />
<field name="_text_" type="text_general" indexed="true" stored="false" multiValued="true"/>
<field name="case_title" type="text_ik" indexed="true" stored="true"/>
<field name="case_desc" type="text_ik" indexed="true" stored="true"/>
<field name="time_point" type="int" indexed="true" stored="true"/>
<field name="last_modify_time" type="date" indexed="true" stored="true"/>
添加中文分词IK配置信息:
<fieldType name="text_ik" class="solr.TextField">
<analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>
</fieldType>
<field name="text_ik" type="text_ik" indexed="true" stored="true" multiValued="false" />
13.添加我们刚刚建立的core
(1).点击Core Admin,配置我们建立的solr Core的信息,如下所示:
(2).测试索引是否成功
索引成功
(3).监测查询成功
查询成功
(4).检测中文分词
检测成功
14.其他操作
(1).删除所有索引:
http://localhost:8983/solr/case_task/update/?stream.body=%3Cdelete%3E%3Cquery%3E*:*%3C/query%3E%3C/delete%3E&stream.contentType=text/xml;charset=utf-8&commit=true
(2).添加所有索引:
http://localhost:8983/solr/case_task/dataimport?command=full-import&clean=false&commit=true
(3).新增索引:
http://localhost:8983/solr/case_task/dataimport?command=delta-import&clean=false&commit=true
页:
[1]