Solr索引放入内存

xingyu655

　　在一次技术群中，中听到一位sina的架构师，他们是采用基于lucene做的搜索服务,索引在20多G数据量，差不多是在亿的级别上，PV量在500万 /天左右，高峰时期500个并发量/s，采用的是增量索引 ，读写索引都在同一台机上。他们并没有采用分布式，而是采用单机提供服务，主要是在配置上内存提高 到32-64G，再加cpu:32个core.
　　到底他们在架构上采取了什么样的优化，并不得而知。但从中可以得知，采取大内存的处理比使用硬盘的快1000倍左右。所以我们也测试 了一下采用大内存的设计。使用的机器配置是32G，4个core CPU。
　　使用的搜索服务是用solr搭建的，主要修改它的索引目录位置，将索引目录设置为内存（在linux中，可以将内存映射为硬盘），然后关掉了其它8 台大索引的服务，即是将主要的搜索服务都分给新配置的机器。测试了几天，它的性能果真是好很多。平均响应时间是30ms。在取文档的时间上几乎为0ms, 主要消耗的时间在计算跟排序上，由于排序时用了六个索引字段，动态计算bf分数，这里才是费了最多时间的。而这里其实也可以优化的，即在建索引的时候，就 先计算好每个文档的bf分数（有时间再做优化）。相信可以提高到10ms左右的响应时间 。
　　solr的本身设计也是多线程，高峰的时候有几十条线程并发，负载到了4左右，现在单机的瓶颈在CPU上，如果cpu再高些，基本上就可以安稳地顶起高峰时期，或者再多台同样配置的机器负载。
　　现在的索引只有8G,如果到了20G（一亿左右的数据量）的话，不知道会怎么样，请拭目以待。
　　原文：http://blog.csdn.net/duck_genuine/article/details/6103088