杂谈之不同行业的Solr

list123342

杂谈之不同行业的Solr
　　前几天去一家互联网创业公司面试搜索引擎开发工程师，结果被pass了，仍不住想来吐槽下。尽管当时面试没啥准备，也没表现好，但是也学到了不少东西。现在就随便吐槽一下吧。
　　本人是在安防公司做大数据搜索引擎，搞Solr也一年多点了，自认为对Solr了解的也不少了，但是为什么在面试中碰壁呢，回想一下面试的情节，主要觉得跟行业不同造成对Solr的使用方式不同。

• 首先，我们公司使用的Solr是对应交通行业的大数据，交通行业的数据有个显著的特点就是:
  

　　1. 域多，存在几十个域；
　　2. 域短，每个域的长度很短，比如车牌，车身颜色，车牌颜色，车速，等等跟车有关的数据，这些数据要么是数字类型，要么就是几个字符的字符串
　　3. 数据量，一个城市的过车量有多少，基本上能达到每秒几千条记录。

• 基于以上这个数据特点，所以我们的Solr使用跟互联网这种全文检索形式的使用方式会由很多区别：
  

　　1. 首先，我们公司是卖服务器的或者说是卖软件的，而互联网公司是卖服务的。这样的差别就是，互联网公司觉得性能不行，那他自己加一台服务器，增加   solrcloud的shard，就可以解决性能问题了。而我们呢？卖一台服务器就已经很难了，客户怎么会轻易要两台呢？所以我们不能通过增加服务器，增加shard的方式来优化性能，我们只能往死里的优化Solr/Lucene。在搞Solr这一年，改动过好多Solr/Lucene的源码。面试的那位仁兄甚至问我，你们一台服务器跑几个java进程，我说好几个，他诧异的看着我说我们只有一个。尼玛，太幸福了。
　　2. 我们的数据虽然域短，但是数据量大啊，也就是document多。一台服务器我们就要存放10亿的数据量，有时甚至达到20亿。尼玛，20亿的数据互联网公 司是不是已经N多台构成Solrcloud了？我甚至直接把Solr的一个core的document弄到撑爆过，document是int型，也就是单台服务器单个core的最大 document是int型的上限，也就是21亿，我就搞到过21亿，那个时候甚至动了改这个类型的想法。所以一比较就觉得互联网公司是高富帅，俺们就是屌丝。我们的集群规模是多少？10台一百亿啊。
　　3. 查询吧也是有很大区别的，我们的域段，所以我们什么乱七八糟的查询方式都没用，啥米PharseQuery，RangeQuery，还有什么编辑距离查询，近似查 询，本人使用的Solr只有一个Boolean查询，顶多外加一个模糊查询。简简单单，清清楚楚，多好。
　　4. 查询性能，有人或许会问，一台服务器单个core10亿的数据量是不是会很慢，本人很自豪的会告诉他，不慢，经过一年的优化只要1秒左右。但是那位面试 的哥哥告诉我他们的查询只要几十毫秒，我瞬间被打击了。如果10亿数据用十几二十台集群，我也可以达到几十毫秒的。
　　5. 索引性能，单台10亿的数据对索引的建立以及合并是个很大的挑战，这个一直都是本人最头大的地方，也一直都在努力优化，不想说了。
　　最后，有句话说的是“隔行如隔山”，虽然同样用的是Solr，但是安防行业与互联网行业对他的使用是完全的两个方向。这次面试让我明白了以前我一直忽视的Solr的一些其他特性以及基础知识，评分机制，缓存机制，查询组件，查询方式，分词等等一些，接下来的日子继续勤练内功。