PHP中文分词

worker321

　　PHP中文分词
　　最常见的词语二分法:
　　$str = '这是我的网站www.7di.net！';
　　//$str = iconv('GB2312','UTF-8',$str);
　　$result = spStr($str);
　　print_r($result);
　　/**
　　* UTF-8版 中文二元分词
　　*/
　　function spStr($str)
　　{
　　$cstr = array();
　　$search = array(",", "/", "\\", ".", ";", ":", "\"", "!", "~", "`", "^", "(", ")", "?", "-", "\t", "\n", "'", "", "\r", "\r\n", "{1}quot;", "&", "%", "#", "@", "+", "=", "{", "}", "[", "]", "：", "）", "（", "．", "。", "，", "！", "；", "“", "”", "‘", "’", "［", "］", "、", "—", "　", "《", "》", "－", "…", "【", "】",);
　　$str = str_replace($search, " ", $str);
　　preg_match_all("/[a-zA-Z]+/", $str, $estr);
　　preg_match_all("/[0-9]+/", $str, $nstr);
　　$str = preg_replace("/[0-9a-zA-Z]+/", " ", $str);
　　$str = preg_replace("/\s{2,}/", " ", $str);
　　$str = explode(" ", trim($str));
　　foreach ($str as $s) {
　　$l = strlen($s);
　　$bf = null;
　　for ($i= 0; $i< $l; $i=$i+3) {
　　$ns1 = $s{$i}.$s{$i+1}.$s{$i+2};
　　if (isset($s{$i+3})) {
　　$ns2 = $s{$i+3}.$s{$i+4}.$s{$i+5};
　　if (preg_match("/[\x80-\xff]{3}/",$ns2)) $cstr[] = $ns1.$ns2;
　　} else if ($i == 0) {
　　$cstr[] = $ns1;
　　}
　　}
　　}
　　$estr = isset($estr[0])?$estr[0]:array();
　　$nstr = isset($nstr[0])?$nstr[0]:array();
　　return array_merge($nstr,$estr,$cstr);
　　}
　　執行結果是:
　　Array ( [0] => 7 [1] => www [2] => di [3] => net [4] => 这是 [5] => 是我 [6] => 我的 [7] => 的网 [8] => 网站 )
　　接下来，将以上结果转换为区位码,PHP代码是：
　　foreach ($result as $s) {
　　$s = iconv('UTF-8','GB2312',$s);
　　$code[] = gbCode($s);
　　}
　　$code = implode(" ", $code);
　　echo $code;
　　function gbCode($str) {
　　$return = null;
　　if (!preg_match("/^[\x80-\xff]{2,}$/",$str)) return $str;
　　$len = strlen($str);
　　for ($i= 0; $i< $len; $i=$i+2) {
　　$return .= sprintf("%02d%02d",ord($str{$i})-160,ord($str{$i+1})-160);
　　}
　　return $return;
　　}