php 一元分词算法

yipeiwu_com6年前PHP代码库

复制代码 代码如下:


/**
* 一元分词算法
* UTF8编码下一个字符如果首字符ASCII码不大于192则只占1个字节
* 如果首字符ASCII码大于192小于224则占用2个字节,否则占用3个字节
* 一元分词需要在mysql的my.ini文件中增加 ft_min_word_len=1
* 可以使用mysql查询语句 show variables like '%ft%' 查看mysql全文搜索相关设置
*
* @access global
* @param string $str
* @param boolean $unique 是否去除重复值
* @param boolean $merge 是否合并附加值
* @return array
*/
function seg_word($str,$unique=false,$merge=true)
{
$str = trim(strip_tags($str));
$strlen = strlen($str);
if($strlen == 0) return array();
$spc = ' ';
//按需增加需要过滤的字符
$search = array(',', '/', '\\', '.', ';', ':', '\'', '!', '~','"', '`', '^', '(', ')', '?', '-', "\t", "\n", '\'', '<', '>', "\r", "\r\n", '\$', '&', '%', '#', '@', '+', '=', '{', '}', '[', ']', ')', '(', '.', '。', ',', '!', ';', '“', '”', '‘', ''', '[', ']', '、', '—', ' ', '《', '》', '-', '…', '【', '】',':');
$numpairs = array('1'=>'一','2'=>'二','3'=>'三','4'=>'四','5'=>'五','6'=>'六','7'=>'七','8'=>'八','9'=>'九','0'=>'零');
$str = alab_num($str);
$str = str_replace($search,' ',$str);
$ord = $i = $k = 0;
$prechar = 0;// 0-空白 1-英文和符号 2-中文
$result = array();
$annex = array();

while($ord = ord($str[$i]))
{
//1字节字符
if ($ord <= 0xC0 )
{
//去除空字符串
if($ord < 33) {
$prechar=0;
$i++;
$k++;
continue;
}
//附加中文大写数字转换
if(isset($numpairs[$str[$i]])) {
$annex[]=$numpairs[$str[$i]];
}
//如果前面是中文
if( $prechar == 2 ){
$result[++$k] = $str[$i];
}
else {
$result[$k] .= $str[$i];
}
$prechar = 1;
$i++;
}
else //2-3字节字符(中文)
{
if($ord < 0xE0)
$step = 2;
else
$step = 3;
$c = substr($str,$i,$step);
if(false !== $key = array_search($c,$numpairs)){
$annex[] = $key;
}
if ($prechar != 0) {
$result[++$k] = $c;
}
else {
$result[$k] .= $c;
}

$prechar = 2;
$i+=$step;
}
}
$result = $merge ? array_merge($result,$annex) : $result ;
return $unique ? array_unique($result) : $result ;
}

相关文章

PHP及Zend Engine的线程安全模型分析

PHP及Zend Engine的线程安全模型分析

不知道怎么回事总是令人不舒服的,因此我通过阅读源码和查阅有限的资料简要了解一下相关机制,本文是我对研究内容的总结。 本文首先解释了线程安全的概念及PHP中线程安全的背景,然后详细研究了P...

PHP字符串中抽取子串操作实例分析

本文实例讲述了PHP字符串中抽取子串操作。分享给大家供大家参考,具体如下: 问题 希望从字符串的某个特定位置开始抽取这个字符串的一部分。例如,对于输入到一个表单的用户名,想要得到这个用...

PHP数组操作简单案例分析

PHP数组操作简单案例分析

本文实例讲述了PHP数组操作相关技巧。分享给大家供大家参考,具体如下: 这个是一道简单的PHP数组入门题 $Str = "as5454654%^$%^$7675dhasjkdhh12...

php连接与操作PostgreSQL数据库的方法

本文实例讲述了php连接与操作PostgreSQL数据库的方法。分享给大家供大家参考。 具体实现方法如下: 复制代码 代码如下: $pg=@pg_connect("host=localh...

PHP对象克隆clone用法示例

本文实例讲述了PHP对象克隆clone用法。分享给大家供大家参考,具体如下: 浅克隆:只是克隆对象中的非对象非资源数据,即对象中属性存储的是对象类型,则会出现克隆不完全 <&#...