python 中文分词
JavaEye曾经报道过ruby的中文分词程序：rmmseg-cpp这个项目。rmmseg-cpp实际上是用C++来编写的分词，只在最外层和ruby进行了粘合。
现在作者pluskid（张驰原）在rmmseg-cpp的基础上提供了Python的代码封装，可以用在Python项目当中进行中文分词，用法示例如下：
Python代码
[*]from
pymmseg
import
mmseg
[*]
[*]mmseg.dict_load_defaults()
[*]text = # ...
[*]algor = mmseg.Algorithm(text)
[*]for
tok
in
algor:
'%s [%d..%d]'
% (tok.text, tok.start, tok.end)
from pymmseg import mmseg
mmseg.dict_load_defaults()
text = # ...
algor = mmseg.Algorithm(text)
for tok in algor:
print '%s [%d..%d]' % (tok.text, tok.start, tok.end)
该项目源代码在github上面：http://github.com/pluskid/pymmseg-cpp/
作者对于该项目的介绍请看：http://pluskid.lifegoo.com/?p=431
页:
[1]