solr 自动补全（智能提示）原理与实现

fswdnr

　　自动补全，英文叫autocomplete，好像也叫智能提示，就是用户在输入框敲一个字符会弹出下拉列表提示候选词给用户，方便用户输入，提升用户体验。

　　网上多是JS如何实现，用ajax请求拿到数据就可以了，这里分享一下后台实现的一些思路。如果对性能和效果要求不高的话，可以直接在数据库中用like的方式去匹配候选词集合；或者在一个检索系统上也可以通过查询前缀来facet结果，例如在solr中，可以直接URL上用select?fl=id,name&rows=0&q=*:*&facet=true&facet.field={$title}&facet.mincount=1&facet.prefix={$input} 方式进行查询，其中{$input} 是你需要自动提示的前缀，{$title}是对某个字段进行提示。
　　如果对性能要求高，可以用solr的suggest component，其中用的就是lucene-suggest的Lookup实现，其中有好几种实现，都是要从solr的索引数据中遍历词表构建相应数据结构，配置可以到http://www.solr.cc/blog/?p=1025看下。
　　但几种实现都没有拼音提示中文的，如果需要按我们拼写习惯实现一些提示，可能就要自己动手了。对一个词语例如”上海”，我们需要对shanghai任意一个前缀都能匹配到，那么很容易就想到，对拼音建立一个字典树，那么任意前缀串都能找回这个完整的拼音串，当然也包括其他的可能，当我们找回这个拼音串，就可以找回原来的中文来。所以构建检索库的顺序是：
　　1. 中文拼音串转换，“上海”->shanghai ，“北京”-> beijing，“伤害”-> shanghai ……，于是我们可以得到“shanghai”->[上海, 伤害, 商海...]， “beijing”-> [北京, 背景...] 这样的映射表M。
　　2. 拼音串建立字典树T，可以直接利用lucene-suggest的Lookup的实现，比如FSTCompletion。
　　3. 对任意一个英文串，先到字典树T上查找出所有的原始拼音，然后到映射表M中找回中文，根据需要进行一些排序，比如这个query被查过的次数等等我们想要的排序方式。
　　如果是中文串，可以直接进行第2步， 或者转换成拼音后再做。中文词也可以进行一些辅音抽取比如北京也允许用bj搜。
　　如果只有头一两个字符，可能会在T上找到很多很多原串出来，所以字典树最好也能进行一些排序，FSTCompletion中就有权重设置，按中文长度越短的权重越大。
　　取出几十个前缀之后再在M中找回中文再排序，这个过程每次都要进行似乎比较浪费，能不能省掉？其实每次的结果都是固定的，只要在建立字典树的时候预先把排序做好了就可以了，比如shanghai 在其所有子串上都有一个[上海, 伤害, 商海...]排序好的列表，shang在其所有子串有一个[上级,商品,上海...]这样的。这样的话只要查到任何一个拼音前缀都能立马返回结果，提高效率。不过在实现上要稍微注意否则容易出错：对任一个拼音，其前缀串都跟着一个列表的引用，如果遇到重复的，就重新生成一个列表替换前面所有的引用，比如shanghai的所有8个前缀串都是[上海]，但是有个新词shang 那么前5个串变成[上, 上海]， 而shanghai的shangh,shangha,shanghai还是原来的。这个空间消耗也不小，所有可能的前缀至少要跟着一个引用，如果字符串多，那么生成大量的引用需要也非常占空间，字典树的实现也很消耗空间。在试过几种办法以后目前最省的办法，还是拼音串直接用hash查，value是这些诸如[上, 上海] 列表的引用，（64位JVM上引用是8字节，实际value是存一个int下标更省，key查询用trove高性能高节约） 。搞得有点复杂了，但查询性能肯定没问题。如果还想简单点，直接把“上海”分开成成shanghai, shangha,...s 之类的碎片进行lucene或solr索引也成。其实那1.2.3步性能也很够用了，还简单点
　　转载:http://blog.csdn.net/lgnlgn/article/details/8816218