solr的基本应用

dsqzhaoyue

一、Solr的特性：
    Apache Solr是一个开源的搜索服务器,使用java语言开发,主要基于http和Apache Lucene实现。定制solr索引的方法就是用psot方法向solr服务器发送一个描述所有Field及其内容的xml文档就行了，solr开始支持从数据库(通过JDBC)、RSS提要、Web页面和文件中导入数据，但是不直接支持从二进制文件中读取内容(pdf，MS office)。更重要的是，Solr创建的索引与Lucene搜索引擎库完全兼容。
二、Solr服务器原理：
    Solr对外提供标准的http接口来实现对数据的索引的增加、删除、修改、查询。Solr的工作流程大概是这样的：用户通过向部署在servlet容器中的Solr Web应用程序发送http请求来启动索引和搜索。solr接受请求,确定要使用适当的SolrRequestHandler，然后处理请求。通过HTTP以同样的方式返回相应。默认配置返回solr的标准XML相应，也可以配置Solr的备用相应格式。
三、Solr的分词配置：
    solr的缺省的中文分词方案可以采用mmseg4j 项目库：http://code.google.com/p/mmseg4j，也可以采用庖丁解牛(lucene)作为solr的缺省的中文分词方案  项目库：http://code.google.com/p/paoding/
四、Solr的多core配置(MultiCore)：
    、、、、、、、、、、、、、
五、Solr的索引配置：
    、、、、、、、、、、、、、
六、Solr的配置文件：
    1、schema.xml：相当于数据表配置文件,他定义了加入索引的数据的数据类型，主要包括：types、fields和其他的一些缺省配置。
    <uniqueKey>id</uniqueKey>:这个配置将id字段作为索引文档的唯一标识符,非常重要
<fields>
<field name="id" type="integer" indexed="true" stored="true" required="true"/>
<field name="name" type="text" indexed="true" stored="true"/>
<field name="email" type="text" indexed="true" stored="true" multiValued="true"/>
<field name="copy_email" type="text" indexed="true" stored="false" multiValued="true"/>
<copyField source="email" dest="copy_email"/>
<dynamicField name="attr_*" type="text_general" indexed="true" stored="true" multiValued="true"/>
</fields>
/**
name是定义的字段名
type为字段类型,可以是基本的也可以是自定义的
indexed表示是否被索引
stored表示字段是否被存储，如果为false表示可以进行检索，但是不能够现实该字段的内容(搜索的字段内容不保存到返回结果中).
multiValued表示是否又多个值
required为true时表示当字段没有值，则solr会索引文档失败
dynamicField为定义的动态字段，定义字段名称的规则,那么任何以attr_开头的字段都被认为符合这个定义的.
*/
2、solrconfig.xml:它制定了Solr如何处理索引、突出显示、分类、搜索以及其他请求,还指定了用于指定缓存的处理方法的属性,以及用于指定Lucene管理索的方法的属性



七、Solr的应用模式：
    1、对于原油系统已有的数据或需要索引的数据量较大的情况：
        这种情况直接采用通过http方式调用solr的接口方式效率较差，应采用solr本身对cvs的支持，将数据导出为csv格式，然后调用solr的csv接口。
        、、、、、、、、
    2、对于系统新增的数据：
        将数据组装成xml格式，直接调用solr的http接口。
        数据库数据导入生成索引：可以通过程序将数据读取出来，如果内存够大可以读取100甚至1000条或者更多,然后放到Collection中批量提交到solr，但是我们还可以通过配置文件直接读取数据库建立索引。
            (1) 全量更新索引
                 一、提供对应数据库的jdbc驱动.将jdbc驱动放在TOMCAT_HOME\webapps\solr\WEB_INF\lib目录下。
                 二、在c:\solr-tomcat\solr\conf目录下新建db文件夹,在db文件夹中新建db-data-config.xml:
<dataConfig>
<dataSource type="jdbcDataSource" driver="oracle.jdbc.driver.OracleDriver" url="jdbc:oracle:thin:@192.168.11.1:1521:数据库名" user="#" password="#"/>
<document name="messages">
<entity name="message" transformer="ClobTransformer" query="select * from tb_message">
<field column="ID" name="id"/>
<field column="TITLE" name="title"/>
<field column="CONTENT" clob="true" name="content"/>
<field column="SENDTIME" name="sendtime"/>
</entity>
</document>
</dataConfig>
                 三、修改c:\solr-tomcat\solr\conf目录下的solrconfig.xml文件，添加如下代码：
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">c:\solr-tomcat\solr\conf\db\db-data-config.xml</str>
</lst>
</requestHandler>

document:一个文档、也是lucene的document.
entity:主要针对的是一个数据库表
field:属性column是数据库的字段,name是field的名字(schema的field)
                四、启动tomcat，输入地址进行导入，导入分为多种模式：这里使用的是完全导入模式 http://localhost:8080/solr/dataimport?command=full-import
                五、扩展：
                    上面的例子只不过是很简单的一个部分，针对solr的MultiCore,可以配置db-data-config.xml也可以实现，还有多表或者是多表关联等等操作，只要在db-data-config.xml中配置清楚都可以进行数据的导入。solr1.4有很多功能为重建索引提供很方便的操作。而且datasource不单单指的是database，也可以是xml文件或者来自网络上的一些内容。
            (2) 增量更新索引：
                1、首先确认表中有last_modified字段。
                2、修改c:\solr-tomcat\solr\conf\db\db-data-config.xml文件，内容如下：
<dataConfig>
<dataSource type="jdbcDataSource" driver="oracle.jdbc.driver.OracleDriver" url="jdbc:oracle:thin:@192.168.11.1:1521:数据库名" user="#" password="#"/>
<document name="message">
<entity name="message" pk="ID" transformer="ClobTransformer"
query="select * from tb_message"
delaQuery="select id from tb_message where to_char(last_modified,'YYYY-MM-DD HH24:MI:SS')">'${dataimport.last_index_time}'>
<field column="ID" name="id"/>
<field column="TITLE" name="title"/>
<field column="CONTENT" clob="true" name="content"/>
<field column="SENDTIME" name="sendtime"/>
</entity>
</document>
</dataConfig>
                 3、重启tomcat,添加一条记录http://localhost:8089/solr/dataimport?command=delta-import
    3、嵌入式solr
        、、、、、、、、、
    4、分布式索引
        、、、、、、、、、

八：Solr的使用步骤：
    1、搜索引擎规划设计
        定制好业务模型：分析确定有哪些内容需要进行检索,这些内容的来源，更新的频次等信息,
        定制好索引结构：定制索引服务就是对索引源进行结构化的索引，即索引后的结果是结构化的有意义的信息。主要涉及一下几点：(1)分类：多核解决方案 （2）需要检索的字段 （3）需要存储的方案  （4）过滤的条件  （5）排序  （6）索引的跟新频次.
        定制好搜索策略：指的是确定搜索支持的规则(1)过滤条件  （2）排序规则
    2、搜索引擎配置
        根据搜索引擎的规划,配置solr的schema.xml等配置文件：配置好Fieldtype、Fields、copyField、dynamicField的配置。
    3、构建索引并定时更新索引
        通过调用索引接口进行索引的构建与更新：
    4、搜索
        1、solr的查询参数说明
            1) q        -- 查询字符串
            2）fl       -- 指定返回那些字段的内容，用逗号或空格分隔多个
            3）start    -- 返回第一次记录在完整找到结果中的偏移位置，0开始
            4) rows     -- 指定返回结果最多有几条记录，一般配合start来实现分页
            5) sort     -- 排序 注意：排序只能针对数值型.
            6) wt       -- 指定输出格式,可以有xml,json,php
            7) fq       -- 过滤查询,在q查询符合结果中同时是fq查询符合的.例如：q=mm&fq=date_time:[200809 TO 201206],找到关键字mm，并且date_time是200809到201206之间的。
        2、solr检索的运算符
            1)":"       -- *:*查询所有,id:1查询id为1的内容
            2)"?"       -- 表示单个任意字符的通配
            3)"*"       -- 表示多个任意字符的通配
            4)"~"       -- 表示模糊检索,如检索类似于“roam”的内容：roam~将找到foam和roams的单词,roam~0.8表示检索返回相似度在0.8以上的记录。
            5)"^"       -- 控制相关度检索,如检索jakarta apache，同时希望"Jakarta"的相关度更加好,那么在其后加上"^"和增量值,即：jakarta^4 apache
            6)布尔操作符AND、||  OR、&&   NOT、！
            7)"-" 排除操作符不能单独与项使用构成查询  "+" 存在操作符,要求符号"+"后的项在文档相应的域中存在.
            "()"      --用于构成子查询
            9)"[]"、"{}" --范围检索.如date:[200707 TO 200710]表示包含头(200707)和尾(200710),而date:{200707 TO 200710}表示不包含头和尾.
            10)"\"       -- 转义字符，将特殊字符转义："+ - && || ! () {} [] ^ ~ * ? : \"
        3、查询规则.
           1)要限定输出结果的内容用"fl="加上你要的字段名称：
                http://localhost:8080/solr/q=text:北京+ OR+text:亿度&start=0&rows=10&fl=name,address,tel  在返回的结果中只包括name、address以及tel三个内容.
           3)若搜寻联集结果,用OR连接：
               text:海淀 OR text:亿度
           4)若搜寻交集结果，用AND 或者 "+":
               text:海淀 AND 亿度    +text:海淀 +text:亿度   name:(+亿度 +海淀)
           5)排除查询：在排除词前加上"-"
               海淀 -亿度      这样搜索结果不会有包含亿度的词在结果中
           6)增加权重： 如搜寻“北京 加油站”，因为回传的资料大多包含“中国”或“加油站”的结果，所以想要把包含“加油站”的数据往前排，可以使用“^”在后面加上愈增加权重数：  北京 加油站^2     这样在搜寻时会先判断加油站这个词在搜寻结果中的比重，甚至假设一笔数据内加油站出现过两次以上的就更加具有优先权。
               title:(test1 test2)^4 content:(test1 test2)这样就给title字段增加权重，进行优先匹配。
           7)*符号：如果查询条件为“中国*银”    --他表示中国及银之间可夹任何长短字词    --那么结果会有 中国信托商业银行、中国输出入银行图书馆阅览室、中国商银证券   

Solr的分词器、过滤器、分析器的学习：
    分析就是组合分词和过滤：对于一个document进行索引时,其中的每个Field中的数据都会经历分析，最终讲一句话分成单个的单词，去掉句子当中的空白符号，大写转换为小写，复数转为单数，去掉多余的词，进行同义词代换等等。
    分析器（Analyzer）
        分析器是包含两个部分,分词器和过滤器。分词器功能将句子分成单个的词元token，过滤器就是对词元进行过滤。
        solr自带了一些分词器，如果你需要使用自定义的分词器，需要修改schema.xml,schema.xml文件允许两种凡是修改文本被分析的方式，通常只有field类型为solr.TextField的field的内容允许定制分析器。
        方法一：使用任何org.apache.lucene.analysis.Analyzer的子类进行设定。
<fieldType name="text_ws" class="solr.TextField" positionIncrementGap="100">
<analyzer>
<tokenizer class="solr.WhitespaceTokenizerFactory"/>
</analyzer>
</fieldType>
        方法二：制定一个TokenizerFactory,后面跟一系列的TokenFilterFactories(他们将按照所列的顺序发生作用),Factories被用来创建分词器和分词过滤器,他们用于对分词器和分词过滤器的准备配置，这样做的目的是为了避免(通过反射创建的开销)
<fieldType name="text_general" class="solr.TextField" positionIncrementGap="100">
<analyzer type="index">
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
<!-- in this example, we will only use synonyms at query time
<filter class="solr.SynonymFilterFactory" synonyms="index_synonyms.txt" ignoreCase="true" expand="false"/>
-->
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
<analyzer type="query">
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
<filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
</fieldType>

        注意：任何Analyzer、TokenizerFactory、TokenFilterFactory应该带包名的全类名进行指定，并确保他们位于Solr的classpath路径下。如果需要自己的分词器或者过滤器，需要自己写一个factory，但是它必须是BaseTokenizerFactory(分词器)或BaseTokenFilterFactory(过滤器)的子类。
        solr提供的TokenizerFactories:
            1、solr.LetterTokenizerFactory
                分词举例：I can*t  ====》  I   can   t   字母切词
            2、solr.WhitespaceTokenizerFactory
                切除所有空白字符
            3、solr.LowerCaseTokenizerFactory
                分词举例：I can*t   ====》 i can t   主要是大写转小写
            4、solr.StandardTokenizerFactory
                该分词器会自动的给每个分词添加type,以便接下的对type敏感的过滤器进行处理，目前仅仅只有StandardFilter对Token的类型是敏感的。
                分词举例：I.B.M    cat*s   can*t  ====》ACRONYM:"I.B.M",APOSTROPHE:"cat*s",APOSTROPHE:"can*t"
            5、solr.HTMLStripWhitespaceTokenizerFactory
                从结果中除去HTML标签，将结果交给WhitespaceTokenizer处理。
                分词举例：my <a href="#">link</a>   ====》  my link
            6、solr.HTMLStripStandardTokenizerFactory
                从结果中除去HTML标签,将结果交给StandardTokenizer处理。
            7、solr.PatternTokenizerFactory
                说明：按照规则表达式对文本进行分词
                分词举例：处理对象 mice; kittens;  dogs,他们由分号加一个或多个空格分隔，
<filedType name="semicolonDelimited" class="solr.TextField">
<analyzer>
<tokenizer class="solr.PatternTokenizerFactory" pattern="; *"/>
</analyzer>
</fieldType>

        solr提供的TokenFilterFactories:
            1、solr.StandardFilterFactory:
               移除首字母简写中的点和Token后面的 ’s。仅仅作用域由StandardTokenizer产生的有类的Token。
               分词实例：I.B.M cat's can't  ====>  IBM cat  can't
            2、solr.TrimFilterFactory
               去掉Token两端的空白符。
               分词实例：" Kittens!  ", "Duck" ====> "Kittens!","Duck"
            3、solr.LowerCaseFilterFactory
            4、solr.StopFilterFactory:
               去掉如下的通用词，多为虚词：a,an,and,are,as,at,be,but,by,for,if,in,into,is,it,no等
<fieldtype name="testtop" class="sole.TextField">
<analyzer>
<tokenizer class="solr.LowerCaseTokenizerFactory"/>
<filter class="solr.StopFilterFactory" words="stopwords.txt" ignoreCase="true"/>
</analyzer>
</fieldtype>
            5、solr.KeepWordFilterFactory
                作用与solr.StopFilterFactory相反,保留词的列表
            6、solr.LengthFilterFactory
                过滤掉长度在某个范围之外的词。
<fieldtype name="lengthfilt" class="solr.TextField">
<analyzer>
<tokenizer class="solr.WhitespaceTokenizerFactory"/>
<filter class="solr.LengthFilterFactory" min="2" max="5"/>
</analyzer>
</fieldtype>
            7、solr.ProterStemFilterFactory
               采用Porter Steming Algorithm算法去掉单词的后缀，例如将复数形式变为单数形式
            8、solr.EnglishPorterFilterFactory
                关于句子主干的处理，其中的“protected”指定不允许修改的词的文件
            9、solr.WordDelimiterFilterFactory:关于分隔符的处理
            10、solr.SynoymFilterFactory
                关于同义词的处理
            11、solr.RemoveDuplicatesTokenFilterFactory:避免重复处理.

http://www.open-open.com/doc/vie ... ba18a097d1829646549