论mongo-connector如何将MongoDB中的json数组和嵌套对象更新至Solr引擎

h0945634

　　有一些东西记录下来，不久之后就会再次用到。

1. 使复杂的嵌套对象从MongoDB更新到Solr



最近使用mongo-connector将MongoDB与Solr打通，对于简单的json，更新是没问题了。这次我们遇到的问题是，如果json中某一个field的值是数组类型，或者有嵌套了一个对象，那该怎么整。比如，我们在MongoDB中插入这么个货：

{
"_id": "555df36ec6cd08ea807a4324",
"name": "小米手机",
"comments": [
{
"text": "手机是正品",
},
{
"text": "物流真他妈快",
}
]
}

这东西能同步到Solr吗，我手心真是一把汗一把汗啊。经过多次尝试，非常不幸，轰轰烈烈的失败了。

无奈，去我们伟大的官方说明看一看吧，https://github.com/10gen-labs/mongo-connector/wiki/Usage%20with%20Solr ，其中有一段：Key Names and Document Flattening，尼玛前几天还没有这段说明好不，真是坑爹啊。算了，不管怎样，看起来这东西针对上面那种json还是有办法的，按照说明，上面那段json应该转换成以下形式：

{
"_id": "555df36ec6cd08ea807a4324",
"name": "小米手机",
"comments.0.text":"手机是正品",
"comments.1.text":"物流真他妈快"
}

然后提交给Solr。并且，我们从官方文档中看不出来任何需要配置的地方，难道，默认安装好，这些东西就能行？Oh，No~~~~

这是为什么呢，我们看看官方对schema.xml的说明，原来关键点在这，大概意思就是mongo-connector会读取这个配置文件，在将数据提交给Solr之前，会将数据中没有在schema.xml中声明的field去掉。

哦，原来如此，应该是形如"comments.0.text"这样的field没有被schemal.xml声明，所以被去掉了，在Solr中见不到。那么我们对症下药，既然没有声明这个域，我们声明不就好了，在schema.xml中加入：

<field name=&quot;comments.0.text&quot; type=&quot;text_mmseg4j_complex&quot; indexed=&quot;true&quot; stored=&quot;true&quot;/>

schema.xml的路径参考上一篇文章。重启Solr，保持mongo-connector开启，重新往MongoDB中插入上面那段json，哇，ok，我们可以在Solr前端看到&quot;comments.0.text&quot;了，伟大的革命征程终于迈出了第一步！

成功之后，你可能还想显示&quot;comments.1.text&quot;，如法炮制。那么，问题来了，如果我数组中有多个对象，无限多，难道我要把所有的可能field都声明一遍?

这个问题问的真是极好的！我们不得不说schema.xml是个非常重要的东西！

这个时候，我们要用到在schemal.xml中的另外一种东西，dynamicField。这东西看起来可以通配多个名称，按照已有的示例。那么，按照我们的需求，我们这样添加：

<dynamicField name=&quot;comments*&quot; type=&quot;text_mmseg4j_complex&quot; indexed=&quot;true&quot; stored=&quot;true&quot;/>

这个意思很明显了，就是声明了所有通配comments*的域，这样我们就可以把所有的comments*一网打尽了。

如果想进一步探究mongo-connector怎样做到上面这些的，可以参考python文件：

/usr/local/lib/python2.7/dist-packages/mongo_connector/doc_managers/solr_doc_manager.py

到这，我们就完成了更新这一伟大使命。



2. 在Solr中对嵌套对象及数组进行Query



按照1中所述，我们目前可以在Solr前端看到更新的字段，并且，这些字段已经被Solr建立索引，那么我们该如何查询他们呢，比如我们想用关键字“正品”在所有的形如&quot;comments.*.text&quot;的字段中命中到“手机是正品”这个&#20540;。令人遗憾的是，Solr提供给我们&#20540;的各种查询手段，却不给我们指定目标field的各种手段，我们只是形如&quot;comments.*.text&quot;，但事实上，我们并不能在Solr中这样指定要搜索的域。

这时，不得不再次说一句，schema.xml真特么太重要了，我们用到了里面又一个东西copyField。这个东西可以看看schema.xml中的注释，大概意思就是建立索引时source的&#20540;可以加入到dest，反过来查询dest也就同时能对source进行查询，关键是多个source可以copy到一个dest啊，这不就正合我意嘛。说了这么多，只需要我们在schema.xml中加入一句：

<copyField source=&quot;comments*&quot; dest=&quot;text&quot;/>

这个dest的field &quot;text&quot;一定要设置成multiValue=&quot;true&quot;哦，不然mongo-connector会报错的，想来应该也是吧，这么多source到一个dest，别问我是怎么知道的，这个确实是我试出来的，中间过程就不多说了。

按照上面所说，这个时候我们对text域进行查找，就会去coments*域查找，设置Solr的df为text，q为关键字，猛击吧，骚年，你会得到想要的东西。

好了，码了这么多，关键点就是这么多了，坑太多，小心小心呐~~

版权声明：本文为博主原创文章，未经博主允许不得转载。