python同义词替换的实现(jieba分词)

yipeiwu_com7年前Python基础

TihuanWords.txt文档格式

注意:同一行的词用单个空格隔开,每行第一个词为同行词的替换词。

年休假 年假 年休
究竟 到底
回家场景 我回来了

代码

import jieba


def replaceSynonymWords(string1):
 # 1读取同义词表,并生成一个字典。
 combine_dict = {}
 # synonymWords.txt是同义词表,每行是一系列同义词,用空格分割
 for line in open("TihuanWords.txt", "r", encoding='utf-8'):
   seperate_word = line.strip().split(" ")
   num = len(seperate_word)
   for i in range(1, num):
     combine_dict[seperate_word[i]] = seperate_word[0]
   print(seperate_word)
 print(combine_dict)

 # 2提升某些词的词频,使其能够被jieba识别出来
 jieba.suggest_freq("年休假", tune=True)

 # 3将语句切分成单词
 seg_list = jieba.cut(string1, cut_all=False)

 f = "/".join(seg_list).encode("utf-8")
 f = f.decode("utf-8")
 print(f)
 # 4返回同义词替换后的句子
 final_sentence = " "
 for word in f.split('/'):
   if word in combine_dict:
     word = combine_dict[word]
     final_sentence += word
   else:
     final_sentence += word
 # print final_sentence
 return final_sentence


string1 = '年休到底放几天?'
print(replaceSynonymWords(string1))

结果

以上就是本文的全部内容,希望对大家的学习有所帮助。

相关文章

Python实现拷贝/删除文件夹的方法详解

本文实例讲述了Python实现拷贝 删除文件夹的方法。分享给大家供大家参考,具体如下: 1. 拷贝文件夹 from shutil import copytree, ignore_pa...

Python高级特性切片(Slice)操作详解

切片操作首先支持下标索引,通过[ N:M :P ]操作 索引正向从0开始,逆向从-1开始 N:切片开始位置 M:切片结束位置(不包含) P:指定切片步长,为正数表示按照指定步长正向切片,...

python web框架Flask实现图形验证码及验证码的动态刷新实例

下列代码都是以自己的项目实例讲述的,相关的文本内容很少,主要说明全在代码注释中 自制图形验证码 这里所说的图形验证码都是自制的图形,通过画布、画笔、画笔字体的颜色绘制而成的。将验证码封装...

Python中的集合类型知识讲解

Python中的集合类型知识讲解

集合类型         数学上,,把set称做由不同的元素组成的集合,集合(set)的成员通常被称做集合元素(se...

不要用强制方法杀掉python线程

前言:     不要试图用强制方法杀掉一个python线程,这从服务设计上就存在不合理性。 多线程本用来任务的协作并发,如果你使用强制手段干掉线程,那么很大...