分词并行结巴分词 0.27 发布，Python 中文分词组件
题记：写这篇博客要主是加深自己对分词并行的认识和总结实现算法时的一些验经和训教，如果有错误请指出，万分感谢。本次release的要主更新：
1) 新增并行分词能功，可以在多核算计机上明显高提分词速度
2) 正修了“的”频字高过起引的bug；正修了对小数点和下划线的处置
3) 正修了python2.6存在的兼容性问题
并行分词绍介：
每日一道理
因为自信，在呀呀学语时，我靠着纤嫩的双腿，迈出人生的第一步；因为自信，我一次次将第一名的奖状高高举起；因为自信，我毫不吝惜地剪掉飘逸的长发，在运动场上展现风采……感谢自信，它给了我一双翅膀，让我在电闪雷鸣中去飞翔，在风雨中去搏击人生！
[*]理原：将目标文本按行分开后，把各行文本分配到多个python程进并行分词，然后归并结果，从而得获分词速度的可观晋升
[*]基于python自带的multiprocessing块模，现在暂不持支windows
[*] 用法：
[*]jieba.enable_parallel(4) # 开启并行分词模式，参数为并行程进数
[*]jieba.disable_parallel() # 关闭并行分词模式
[*] 例子： https://github.com/fxsjy/jieba/blob/master/test/parallel/test_file.py
[*] 试验结果：在4核3.4GHz Linux呆板上，对金庸选集停止分词，得获了1MB/s的速度，是单程进版的3.3倍。
文章结束给大家分享下程序员的一些笑话语录： 看新闻说中国输入法全球第一！领先了又如何？西方文字根本不需要输入法。一点可比性都没有。
页:
[1]