python实现统计文本中单词出现的频率详解

yipeiwu_com7年前Python基础

本文实例为大家分享了python统计文本中单词出现频率的具体代码,供大家参考,具体内容如下

#coding=utf-8
import os
from collections import Counter
sumsdata=[]
for fname in os.listdir(os.getcwd()):
  if os.path.isfile(fname) and fname.endswith('.txt'):
    with open(fname,'r') as fp:
      data=fp.readlines()
    sumsdata+=[line.strip().lower() for line in data]
cnt=Counter()
for word in sumsdata:
  cnt[word]+=1
cnt=dict(cnt)
for key,value in cnt.items():
  print(key+":"+str(value))

首先在和程序所在路径下创建几个文本文件,我建了两个,文件内容分别为hello python goodbye python 和 i like python。运行程序,得到以下结果

以上所述是小编给大家介绍的python统计文本中单词出现频率详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对【听图阁-专注于Python设计】网站的支持!

相关文章

python 实现求解字符串集的最长公共前缀方法

问题比较简单,给定一个字符串集合求解其中最长的公共前缀即可,这样的问题有点类似于最长公共子序列的问题,但是比求解最长最长公共子序列简单很多,因为是公共前缀,这样的话只需要挨个遍历即可,只...

pytorch 数据集图片显示方法

图片显示 pytorch 载入的数据集是元组tuple 形式,里面包括了数据及标签(train_data,label),其中的train_data数据可以转换为torch.Tensor形...

python3 json数据格式的转换(dumps/loads的使用、dict to str/str to dict、json字符串/字典的相互转换)

python3 json数据格式的转换(dumps/loads的使用、dict to str/str to dict、json字符串/字典的相互转换)

python3 json数据格式的转换(dumps/loads的使用、dict to str/str to dict、json字符串/字典的相互转换) Python3 JSON 数据解析...

Python中字符串List按照长度排序

下面看下字符串List按照长度排序(python)的实现方法 myList = ['青海省','内蒙古自治区','西藏自治区','新疆维吾尔自治区','广西壮族自治区'] 1、首先得到每...

闭包在python中的应用之translate和maketrans用法详解

相对来说python对字符串的处理是比较高效的,方法也有很多。其中maketrans和translate两个方法被应用的很多,本文就针对这两个方法的用法做一总结整理。 首先让我们先回顾下...