Oracle实现全文索引

6544t

最近要整一个站内一键搜索功能，正常来说，如果是在互联网的话，可以利用百度或者谷歌的站内搜索。嘛~不过搜索不准确就是了。但是遗憾的是，我这个是在内网使用的业务系统，首先非html生成，其次应用了大量ajax动态加载数据，然后还不是那种cms的全部同意内容表content字段的数据结构。所以说存在几个问题。

1. 爬网方式

2. 搜索实现

3. 搜索速度

然后根据能够使用的资源，设计了以下实现思路。

1. 首先写一个爬虫，能够根据配置的数据表，爬取字段，显示名称，以及爬取数据存储格式等因素进行数据库爬取。目的是想要一键搜索能够搜索到的业务表都把数据按照预定义格式爬取到一个数据表中。

2. 为了实现高性能的搜索功能（当然不能够用like之流了），这里用到了Oracle全文索引功能。记录下配置过程。
alter user ctxsys account unlock;   
grant execute on ctx_ddl to testuser;   

首先是启用oracle全文索引功能，在PL/SQL创建SQL窗口执行上述命令即可。主要是启用ctxsys用户（全文索引用户），然后将ctx_ddl执行权限赋予当前用户。（能够执行全文索引）
然后就是创建分词器了。全文索引之所以能够提高性能的原因，就是因为其避免了使用like这种模糊匹配。它允许用户创建分词器，根据索引字段内容进行分词索引。例如，山东省济南市，它会分别拆解成山东，山东省，济南，济南市然后进行索引。（当然根据你使用分词器不同，效果有所差别，如果使用chinese_lexer那么可能只会分成山东省，济南市两个）这样你在进行查询的时候，输入山东，山东省，济南，济南市都会检索到该记录。但是如果你输入“省济南”那么很遗憾，搜索不到，这点与like不同，要注意。不过一般也不会出现该种情况吧，除非“脑残了？”呵呵。

分词器创建如下：
exec ctx_ddl.create_preference ('test_lexer', 'chinese_vgram_lexer');   
这里用了一个比较全的中文分词器，嘛~分词器这东西大家用的时候自己测试一下吧，上述这个可以满足大多数需要了。
注意，执行时要使用PL/SQL的话，记得在新建命令窗口中执行。

如果需要的话，其实还可以创建过滤词组，就是在系统分词器分词创建索引时不想要出现的分词类型。这时候可以创建一个stoplist，如下：

exec ctx_ddl.create_stoplist('test_stoplist');   

然后向里面添加过滤词，
ctx_ddl.add_stopword('test_stoplist','公司');  
ctx_ddl.add_stopword('test_stoplist','分局');

这样在创建索引时，“测试公司”，就不会分解成“测试”，“公司”两个词了。当然搜索的时候，也就必须要输入“测试公司”才能够找到结果。

然后我们来看看创建索引的语句：

create index TEST_INDEX on TABLE_NAME(COL_NAME) indextype is CTXSYS.CONTEXT parameters('lexer test_lexer stoplist test_stoplist');   
当然如果没有使用过滤词组的话，那么可以去除stoplist的声明。
这样索引就创建完成了，下面说一下如何基于索引进行查询。

select * from TABLE_NAME where contains(COL_NAME,'测试')>0;   

就是通过上述方式了，其实很简单吧。'测试'就是我们输入的查询关键字了。这里其实还可以对测试进行分词查询，就类似百度那样，需要了解的自己查询吧。
但是现在发现一个问题，如果有新的数据插入，或者数据修改的时候，索引不会变更？bug？当然不是，因为全文索引需要占用资源较大，所以设计的时候需要手工执行更新索引的脚本才行，（当然允许自动更新，加个参数也可以实现，但是，那样做会严重影响性能，并且只更新索引，不执行优化，所以还是手动更新吧）具体代码如下：

exec ctx_ddl.sync_index('test_index')  --同步索引，也就是更新索引了  
exec ctx_ddl.optimize_index('test_index','full')  --优化索引，类似于重建索引，会提高查询效果  
但是什么时候执行，怎么执行呢？估计都想到了，写个job就可以了。我定义的是每天凌晨3点执行。
基本上到这里就差不多可以结束了。目前来看的话，通过全文索引进行查询速度还是有相当的优势的，比like速度快非常多，提供大家参考吧。