2014-1-19_自己动手写中文分词并编写solr接口

ainila

　　一段时间写了DATrie结构的实现博客。一直没有用DATrie来实现一个简单的词典分词。这几天就自己写了一个简单的中文分词。分词算法是最简单的最大逆向匹配。词典用DATrie来存储。
　　分词的基础知识都比较基础了。这里侧重于分词器与lucene/solr的集成。
　　在solr4.2中实现分词接口还是比较简单的。可以先参考一下StandardTokenizer类中的代码。
　　这里需要注意Lucene多线程的问题。Lucene多线程实现的思路是每个Field一个线程。
　　简单地，实现分词器的lucene/solr接口有三步
　　1、实现一个TokenizerFactory接口。代码如下：
public   >@Override　　public Tokenizer create(Reader input) {
　　returnnew XhTokenizer(input);
　　}
　　
}
　　2、实现自己的Tokenizer
　　这里需要关注的就是incrementToken方法。分词的结果并不直接返回，而是存储到CharTermAttribute、OffsetAttribute、
　　PositionIncrementAttribute、和TypeAttribute四个接口的实现类里面。incrementToken方法返回的是一个boolean值，表示对当前input是否分词完成。
　　3、（可选）如果想在Lucene中使用分词，那就需要实现自己的Analyzer类。代码如下：
public>
@Override　　
protected TokenStreamComponents createComponents(String fieldName,
　　
Reader reader) {
　　final XhTokenizer src=new XhTokenizer(reader);
　　returnnew TokenStreamComponents(src) {
　　@Override
　　protectedvoid setReader(final Reader reader) throws IOException {
　　super.setReader(reader);
　　}
　　};
　　
}
　　其实还是调用Tokenizer接口的实现。
　　这样就把一个分词器集成到lucene/solr中去了。整个项目的代码提交到github上面：https://github.com/sbp810050504/xh_seg