python 中文分词

jarod8016b

　　JavaEye曾经报道过ruby的中文分词程序：rmmseg-cpp
这个项目。rmmseg-cpp实际上是用C++来编写的分词，只在最外层和ruby进行了粘合。

现在作者pluskid（张驰原）在rmmseg-cpp的基础上提供了Python的代码封装，可以用在Python项目当中进行中文分词，用法示例如下：


Python代码

• from
   pymmseg 
  import
   mmseg  
  
  
•    
  
• mmseg.dict_load_defaults()  
  
• text = # ...
    
  
  
• algor = mmseg.Algorithm(text)  
  
• for
   tok 
  in
   algor:  
  
  
•     print
   
  '%s [%d..%d]'
   % (tok.text, tok.start, tok.end)  
  
  

from pymmseg import mmseg
mmseg.dict_load_defaults()
text = # ...
algor = mmseg.Algorithm(text)
for tok in algor:
print '%s [%d..%d]' % (tok.text, tok.start, tok.end)
　　

该项目源代码在github上面：http://github.com/pluskid/pymmseg-cpp/

作者对于该项目的介绍请看：http://pluskid.lifegoo.com/?p=431