Solr学习之十：highlighting高亮显示查询

659441806

一、 实现种类

        高亮显示在搜索中使用的比较多，比较常用的有三种使用方式,如果要对某field做高亮显示，必须对该field设置stored=true

第一种是普通的高亮显示Highlighter，根据查询的docIdSet，获取Documents，并获取当前document的需要高亮的field的value，根据query的term和该field的value做匹配算法

第二种是，快速高亮显示FastVectorHighlighter，效率比普通的高亮显示要高；需要定义termvector(占用空间和IO)，包括position和offset，根据query term的termvector到field value中做快速的定位标记，进而实现快速的高亮显示

第三种是在solr外部做高亮显示，由于高亮显示需要对field设置为store=true，所有对于单节点数据量比较大并且该字段比较大的话，会消耗大量的IO操作，那么可以把该字段存储在另外的地方，比如Hbase，在外部做高亮显示的匹配。

二、 实现方法：

        高亮显示有三种方式可以实现，具体说明如下：

第一种是在URL中输入：http://localhost:8080/solr/select?q=name%3Adatou&hl=true&hl.fl=name&hl.simple.pre=%3Cfont+color%3D%27red%27%3E&hl.simple.post=%3C%2Ffont%3E

返回xml结果如下：



第二种是用solrj实现，对应代码如下：

package mysolrtest;
import java.util.List;
import java.util.Map;
import org.apache.solr.client.solrj.SolrQuery;
import org.apache.solr.client.solrj.SolrServer;
import org.apache.solr.client.solrj.SolrServerException;
import org.apache.solr.client.solrj.impl.HttpSolrServer;
import org.apache.solr.client.solrj.response.QueryResponse;
import org.apache.solr.common.SolrDocument;
import org.apache.solr.common.SolrDocumentList;
import org.apache.solr.common.util.NamedList;
public class HighLightTest {
public static void main(String[] args) throws SolrServerException{
String url = "http://10.7.11.141:8080/solr"; //或者"http://localhost:8080/solr"
SolrServer solr = new HttpSolrServer(url);
SolrQuery query = new SolrQuery();
//设置高亮
query.setQuery("name:datou");
query.setHighlight(true); // 开启高亮组件或用query.setParam("hl", "true");
query.addHighlightField("name");// 高亮字段
query.setHighlightSimplePre(&quot;<font color='red'>&quot;);//标记，高亮关键字前缀
query.setHighlightSimplePost(&quot;</font>&quot;);//后缀
//query.setHighlightSnippets(1);//结果分片数，默认为1
//query.setHighlightFragsize(1000);//每个分片的最大长度，默认为100
System.out.println(query);//用于调试程序
QueryResponse rsp = solr.query(query);
NamedList list = (NamedList) rsp.getResponse().get(&quot;highlighting&quot;);
System.out.println(list);//用于显示list中的值
for (int i = 0; i < list.size(); i++){
System.out.println(&quot;id=&quot; + list.getName(i) + &quot;文档中高亮显示的字段：&quot; + list.getVal(i));
}
/*
//或用以下这种方式输出
SolrDocumentList list1 = new SolrDocumentList();
SolrDocument document = new SolrDocument();
QueryResponse response = solr.query(query);
try {
SolrDocumentList documents = response.getResults();
//System.out.println(&quot;documents的内容： &quot; + documents); //用于测试documents中的值
// 第一个Map的键是文档的ID，第二个Map的键是高亮显示的字段名
Map<String, Map<String, List<String>>> map = response.getHighlighting();
//System.out.println(&quot;map的内容： &quot; + map); //用于测试map中的值
for (int i = 0; i < documents.size(); i++) {
document = documents.get(i);
//System.out.println(&quot;document的内容： &quot; + document); //用于测试document中的值
//将document的name字段值设置为从map映射中得到相应id文档的name字段值
document.setField(&quot;name&quot;, map.get(document.getFieldValue(&quot;id&quot;)).get(&quot;name&quot;));
//document.setField(&quot;email&quot;, map.get(document.getFieldValue(&quot;id&quot;)).get(&quot;email&quot;));
list1.add(document);
}
System.out.println(&quot;list1的内容： &quot; + list1); //用于测试list中的值
} catch (Exception e) {
}
*/
}
}

输出结果如下：

q=name%3Adatou&hl=true&hl.fl=name&hl.simple.pre=%3Cfont&#43;color%3D%27red%27%3E&hl.simple.post=%3C%2Ffont%3E

{2={name=[<font color='red'>datou</font>]},8={name=[<font color='red'>datou</font> ok]},10={name=[<font color='red'>datou</font> yes]}}

id=2文档中高亮显示的字段：{name=[<font color='red'>datou</font>]}

id=8文档中高亮显示的字段：{name=[<font color='red'>datou</font> ok]}

id=10文档中高亮显示的字段：{name=[<font color='red'>datou</font> yes]}

第三种是配置scheme.xml文件。solr的高亮显示（包括自动摘要），是通过hl这个param，以及其相关变量来实现的，hl是hightlight的简写。lucene中是通过highlighter来操作高亮和摘要的。配置高亮的相关属性，是在solrconfig.xml中配置的。在 <requestHandler name=&quot;search&quot; class=&quot;solr.SearchHandler&quot; default=&quot;true&quot;>下进行配置。solrconfig.xml文件中包含多个requestHandler的标签，但是只有在上述的名为search的标签中配置才有效。现将配置的案列公布如下：

Xml代码

1.<requestHandler name=&quot;search&quot; class=&quot;solr.SearchHandler&quot; default=&quot;true&quot;>  
2.   <!-- default values for query parameters can be specified, these  
3.        will be overridden by parameters in the request  
4.     -->  
5.    <lst name=&quot;defaults&quot;>  
6.      <str name=&quot;echoParams&quot;>explicit</str>  
7.      <int name=&quot;rows&quot;>10</int>  
8.      <str name=&quot;df&quot;>text</str>  
9.   <str name=&quot;hl&quot;>true</str>  
10.   <str name=&quot;hl.fl&quot;>content</str>  
11.   <str name=&quot;f.name.hl.fragsize&quot;>50</str>  
12.   <str name=&quot;hl.simple.pre&quot;><font color=&quot;red></str>  
13.   <str name=&quot;hl.simple.post&quot;></font></str>  
14.    </lst>  
15. </requestHandler>


说明：

        hl是指定是否使用高亮；hl.fl，指定对哪些域进行高亮，对多个域进行高亮的话，好像是用逗号隔开；f.name.hl.fragsize是指摘要的长度，默认0代表不做摘要。而hl.simple.pre和hl.simple.post则是指定高亮时显示的&#26684;式，默认是<em></em>。详细内容请参见：http://wiki.apache.org/solr/HighlightingParameters。

        设置完成后，在solrj中，通过QueryResponse对象的getHighlighting()方法获得。该方法返回 Map<String,Map<String,List<String>>>类型的数据。其中第一个Map中的key是id,第二个Map中的key是field，List<String>中封装的就是高亮与摘要处理过后的内容了。

        Map<String, Map<String, List<String>>> map = response.getHighlighting();通过这个api的方法就可以得到高亮的内容，高亮的内容通过 key 跟索引的document部分关联起来，这个key就是document 的id。

三、 高亮参数详细说明：

· hl.fl: 用空&#26684;或逗号隔开的字段列表。要启用某个字段的highlight功能，就得保证该字段在schema中是stored。如果该参数未被给出，那么就会高亮默认字段 standard handler会用df参数，dismax字段用qf参数。你可以使用星号去方便的高亮所有字段。如果你使用了通配符，那么要考虑启用hl.requiredFieldMatch选项。

· hl.requireFieldMatch:

如果置为true，除非该字段的查询结果不为空才会被高亮。它的默认&#20540;是false，意味着它可能匹配某个字段却高亮一个不同的字段。如果hl.fl使用了通配符，那么就要启用该参数。尽管如此，如果你的查询是all字段（可能是使用copy-field 指令），那么还是把它设为false，这样搜索结果能表明哪个字段的查询文本未被找到

· hl.usePhraseHighlighter:

如果一个查询中含有短语（引号框起来的）那么会保证一定要完全匹配短语的才会被高亮。

· hl.highlightMultiTerm

如果使用通配符和模糊搜索，那么会确保与通配符匹配的term会高亮。默认为false，同时hl.usePhraseHighlighter要为true。

· hl.snippets：

这是highlighted片段的最大数。默认&#20540;为1，也几乎不会修改。如果某个特定的字段的该&#20540;被置为0（如f.allText.hl.snippets=0），这就表明该字段被禁用高亮了。你可能在hl.fl=*时会这么用。

· hl.fragsize:

每个snippet返回的最大字符数。默认是100.如果为0，那么该字段不会被fragmented且整个字段的&#20540;会被返回。大字段时不会这么做。

· hl.mergeContiguous:

如果被置为true，当snippet重叠时会merge起来。

· hl.maxAnalyzedChars:

会搜索高亮的最大字符，默认&#20540;为51200，如果你想禁用，设为-1

· hl.alternateField:

如果没有生成snippet（没有terms 匹配），那么使用另一个字段&#20540;作为返回。

· hl.maxAlternateFieldLength:

如果hl.alternateField启用，则有时需要制定alternateField的最大字符长度，默认0是即没有限制。所以合理的&#20540;是应该为

· hl.snippets * hl.fragsize这样返回结果的大小就能保持一致。

· hl.formatter:一个提供可替换的formatting算法的扩展点。默认&#20540;是simple，这是目前仅有的选项。显然这不够用，你可以看看org.apache.solr.highlight.HtmlFormatter.java 和 solrconfig.xml中highlighting元素是如何配置的。

注意在不论原文中被高亮了什么&#20540;的情况下，如预先已存在的em tags，也不会被转义，所以在有时会导致假的高亮。

· hl.fragmenter:

这个是solr制定fragment算法的扩展点。gap是默认&#20540;。regex是另一种选项，这种选项指明highlight的边界由一个正则表达式确定。这是一种非典型的高级选项。为了知道默认设置和fragmenters (and formatters)是如何配置的，可以看看solrconfig.xml中的highlight段。

regex 的fragmenter有如下选项：

· hl.regex.pattern:正则表达式的pattern

· hl.regex.slop:这是hl.fragsize能变化以适应正则表达式的因子。默认&#20540;是0.6，意思是如果hl.fragsize=100那么fragment的大小会从40-160.
　　四、 可供参考代码：
　　

public class SolrTestQuery {
public static void main(String[] args) throws Exception{
String zkHost = &quot;localhost:9080&quot;;
String defaultCollection = &quot;collection1&quot;;  
CloudSolrServer server = new CloudSolrServer(zkHost);  
server.setDefaultCollection(defaultCollection);
SolrQuery params = new SolrQuery();  
String q=&quot;俄罗斯空军&quot;;
//the common parameters for all search  
params.set(&quot;q&quot;, &quot;content:&quot;+q,&quot;title:&quot;+q);  
params.set(&quot;fl&quot;, &quot;*,score&quot;);  // field list  
params.set(&quot;start&quot;, &quot;0&quot;);  
params.set(&quot;rows&quot;, &quot;10&quot;);
params.setHighlightSimplePre(&quot;<em>&quot;);
params.setHighlightSimplePost(&quot;</em>&quot;);
params.addHighlightField(&quot;title&quot;);
params.addHighlightField(&quot;content&quot;);
params.addHighlightField(&quot;keywords&quot;);
params.setHighlight(true);
params.setHighlightFragsize(72);
params.setHighlightSnippets(3);
params.setSort(&quot;score&quot;, ORDER.desc);
params.setSort(&quot;updatetime&quot;, ORDER.desc);
params.set(&quot;timeAllowed&quot;, &quot;30000&quot;); //miliseconds  
params.set(&quot;wt&quot;, &quot;json&quot;); // the response writer type  
//查询并获取相应的结果！  
QueryResponse response = null;  
try {  
response = server.query(params);  
SolrDocumentList results = response.getResults();
//高亮集合
Map<String, Map<String, List<String>>> highlightresult=response.getHighlighting();
for (int i = 0; i < results.size(); ++i) {
SolrDocument document=results.get(i);
System.out.println(document.get(&quot;id&quot;).toString());
if(highlightresult.get(document.get(&quot;id&quot;).toString())!=null && highlightresult.get(document.get(&quot;id&quot;).toString()).get(&quot;title&quot;)!=null){
String t=highlightresult.get(document.get(&quot;id&quot;).toString()).
get(&quot;title&quot;).get(0);
System.out.println(t);
}else{
System.out.println(document.get(&quot;title&quot;));
}
if(highlightresult.get(document.get(&quot;id&quot;).toString())!=null && highlightresult.get(document.get(&quot;id&quot;).toString()).get(&quot;content&quot;)!=null){
String t=highlightresult.get(document.get(&quot;id&quot;).toString())
.get(&quot;content&quot;).get(0);
t=t.length()>72 ? t.substring(0, 72) : t;
System.out.println(t);
}else{
System.out.println(document.get(&quot;content&quot;));
}
System.out.println(document.get(&quot;score&quot;));
}
} catch (SolrServerException e) {  
System.err.println(e.getMessage());  
e.printStackTrace();  
} catch (Exception e) {  
System.err.println(e.getMessage());  
e.printStackTrace();  
} finally {  
server.shutdown();  
}  
}
}
　　

版权声明：本文为博主原创文章，未经博主允许不得转载。