Solr分布式搜索技术实现分析

小风儿

概述
Solr单机支持的搜索数据量是有一定上限的，这个取决于搜索的复杂程度，服务器的硬件配置与业务的要求等等，所以将搜索功能分布化将是对于大数据搜索的一个必然趋势。
Solr从1.3版本开始，自带了分布式搜索（Distributed Search）。这个功能使得Solr能够通过多服务器进行横行扩展，对数据进行水平拆分，从而支持海量数据的搜索功能。
Solr-3.6.1版本对分布式搜索的支持功能如下：

搜索功能模块	是否支持分布式搜索
Query component	Y
Facet component	Y
Highlighting component	Y
Spell Check Component	Y
Terms Component	Y
Stats component	Y
Term Vector Component	Y
Debug component	Y
Grouping component	Y
QueryElevationComponent	N
MoreLikeThis	N
Join	N

由于业务功能和时间的缘故，本文将只讨论Query component的技术实现逻辑。
注意事项
在使用Solr进行分布式搜索的时候，需要注意以下细节：

• schema.xml中定义的unique key必须保存在索引中。因为Solr在进行2nd phrase搜索时需要使用这个unique key进行数据一致性的二次确认与获取搜索要求查询的字段数据。
  
• 分布在不同服务器中的索引文件中包含的unique key不要有重复。因为Solr在进行1st phrase搜索时需要根据这些unique key进行排序与去重，如果unique key有重复，包含相同unique key的doc结果将随机返回。
  
• 搜索结果不要有过多的翻页。因为Solr的分布式搜索中，会将需要翻页排序后的总结果全部返回给proxy solr server进行汇总排序，如果翻页过多，那么对网络带宽将会照成一定的压力。
  
• 注意HTTP连接数。因为Solr的分布式搜索中，服务器可能既是search server又是proxy server，一遍等待http请求应答有一遍处理http请求，多台服务器之间就可能会出现死锁。
  

分布式搜索逻辑实现
Query component的实现原则为：Multi-phased approach, allowing for inconsistency，具体的实现细节如下：

• 客户端发送搜索请求给Solr集群中的任意一台服务器SP。
  
• SP服务器处理分布式查询请求
  
  
  • Phase One
    
    
    • 构建查询请求，只获取查询Doc的unique key与sort field字段。
      
    • 将构建好的请求通过HTTP发送给每一个Solr Shard节点。
      
    • 等待Solr Shard节点返回查询结果。
      
    • 根据排序规则，逐个合并Solr Shard节点返回的查询结果。
      
    
    
  • Phase Two
    
    
    • 构建查询请求，根据unique key查询客户端查询的相关字段数据。
      
    • 将构建好的请求通过HTTP发送给每一个需要请求的Solr Shard节点。
      
    • 等待Solr Shard节点返回查询结果。
      
    • 逐个合并Solr Shard节点返回的查询结果，构建本次查询的最终结果。
      
    • SP服务器将分布式查询结果返回给客户端
      
    
    
  
  

注意：当前的版本中，分布式查询中如果有某一个Shard异常，整体的查询将失败。
参考文档

• http://wiki.apache.org/solr/DistributedSearch
  
• http://wiki.apache.org/solr/WritingDistributedSearchComponents
  
• http://wiki.apache.org/solr/DistributedSearchDesign
  
• Solr-3.6.1源码