php 中文分词函数代码一例

php中文网

发布： 2016-07-25 08:59:57

原创

1516人浏览过

为大家介绍一个php中文分词的函数，可能在某些场合用得上，有需要的朋友，参考下吧。

代码如下：

SDCMS-B2C商城网站管理系统

SDCMS-B2C商城网站管理系统是一个以php+MySQL进行开发的B2C商城网站源码。本次更新如下：【新增的功能】 1、模板引擎增加包含文件父路径过滤； 2、增加模板编辑保存功能过滤； 3、增加对统计代码参数的过滤 4、新增会员价设置（每个商品可以设置不同级不同价格） 5、将微信公众号授权提示页单独存放到data/wxtemp.php中，方便修改【优化或修改】 1、修改了check_b

查看详情

<?php
/**
 * php 中文分词
 * by http://bbs.it-home.org
*/
class Segmentation {
var $options = array('lowercase' => TRUE,
'segment_english' => FALSE);
var $dict_name = 'Unknown';
var $dict_words = array();
function setLowercase($value) {
if ($value) {
$this->options['lowercase'] = TRUE;
} else {
$this->options['lowercase'] = FALSE;
}
return TRUE;
}
function setSegmentEnglish($value) {
if ($value) {
$this->options['segment_english'] = TRUE;
} else {
$this->options['segment_english'] = FALSE;
}
return TRUE;
}
function load($dict_file) {
if (!file_exists($dict_file)) {
return FALSE;
}
$fp = fopen($dict_file, 'r');
$temp = fgets($fp, 1024);
if ($temp === FALSE) {
return FALSE;
} else {
if (strpos($temp, "t") !== FALSE) {
list ($dict_type, $dict_name) = explode("t", trim($temp));
} else {
$dict_type = trim($temp);
$dict_name = 'Unknown';
}
$this->dict_name = $dict_name;
if ($dict_type !== 'DICT_WORD_W') {
return FALSE;
}
}
while (!feof($fp)) {
$this->dict_words[rtrim(fgets($fp, 32))] = 1;
}
fclose($fp);
return TRUE;
}
function getDictName() {
return $this->dict_name;
}
function segmentString($str) {
if (count($this->dict_words) === 0) {
return FALSE;
}
$lines = explode("n", $str);
return $this->_segmentLines($lines);
}
function segmentFile($filename) {
if (count($this->dict_words) === 0) {
return FALSE;
}
$lines = file($filename);
return $this->_segmentLines($lines);
}
function _segmentLines($lines) {
$contents_segmented = '';
foreach ($lines as $line) {
$contents_segmented .= $this->_segmentLine(rtrim($line)) . " n";
}
do {
$contents_segmented = str_replace(' ', ' ', $contents_segmented);
} while (strpos($contents_segmented, ' ') !== FALSE);
return $contents_segmented;
?>

登录后复制