前叙
利用下面的代码你将可以将任意中文文本生成词云,其分词部分由jieba,NLPIR两个部分组成,生成词语由worldcloud负责,默认会自动发现文本中的20个新词并添加到词库中,当然你也可以手动添加或者通过txt添加用户词库.code中已经有十分详细的设置说明与代码解释,如果你想进一步学习其详细内容,你可以参考我在第二部分提供的博客列表
想要进一步学习使用的参考博客列表
Python词云 wordcloud 十五分钟入门与进阶:/fontthrone/article/details/72775865
Python中文分词 jieba 十五分钟入门与进阶:/fontthrone/article/details/72782499
Python 中文分词 NLPIR 快速搭建:/fontthrone/article/details/72872413
Python NLPIR(中科院汉语分词系统)的使用 十五分钟快速入门与完全掌握:/fontthrone/article/details/72885372
Python NLPIR 与 wordcloud 结合生成中文词云:/fontthrone/article/details/72987154
相关代码下载:/fontthrone/article/details/72885329
source code
# - * - coding: utf - 8 -*-## 作者：田丰(FontTian)# 创建时间:'/5/23'# 邮箱：fonttian@# CSDN：/fontthronefrom os import pathfrom scipy.misc import imreadimport matplotlib.pyplot as pltimport jiebafrom nlpir import *from ctypes import *# jieba.load_userdict("txt\userdict.txt")# 添加用户词库为主词典,原词典变为非主词典# ImportUserDict('userdic.txt')# 为NLPIR 添加用户词典from wordcloud import WordCloud, ImageColorGeneratorimport sysreload(sys)sys.setdefaultencoding('utf-8')# 获取当前文件路径# __file__ 为当前文件, 在ide中运行此行会报错,可改为# d = path.dirname('.')d = path.dirname(__file__)stopwords = {}isCN = 1 # 默认启用中文分词isJieba = 0 # 默认使用NLPIR进行分词isGetNewWords = 1 # 默认使用NLPIR获取新词number = 20 # 在使用NLPIR 时候默认自动获取的新词back_coloring_path = "img/lz1.jpg" # 设置背景图片路径text_path = 'txt/lztest.txt' # 设置要分析的文本路径font_path = 'D:\Fonts\simkai.ttf' # 为worldcloud设置中文字体路径没stopwords_path = 'stopwords\stopwords1893.txt' # 停用词词表imgname1 = "WordCloudDefautColors.png" # 保存的图片名字1(只按照背景图片形状)imgname2 = "WordCloudColorsByImg.png" # 保存的图片名字2(颜色按照背景图片颜色布局生成)my_words_list = ['路明非'] # 在结巴的词库中添加新词back_coloring = imread(path.join(d, back_coloring_path)) # 设置背景图片# 设置词云属性wc = WordCloud(font_path=font_path, # 设置字体background_color="white", # 背景颜色max_words=2000, # 词云显示的最大词数mask=back_coloring, # 设置背景图片max_font_size=100, # 字体最大值random_state=42,width=1000, height=860, margin=2, # 设置图片默认的大小,但是如果使用背景图片的话,那么保存的图片大小将会)# 使用NLPIR 自动发现新词def add_word(text, number):strs1 = getNewWordsByNLPIR(text, number)if isJieba == 0:if isGetNewWords == 1:for i in strs1:AddUserWord(i)for i in my_words_list:AddUserWord(i)else:if isGetNewWords == 1:for i in strs1:jieba.add_word(i)for i in my_words_list:jieba.add_word(i)text = open(path.join(d, text_path)).read()# 使用 jieba 清理停用词def jiebaclearText(text):mywordlist = []seg_list = jieba.cut(text, cut_all=False)liststr = "/ ".join(seg_list)f_stop = open(stopwords_path)try:f_stop_text = f_stop.read()f_stop_text = unicode(f_stop_text, 'utf-8')finally:f_stop.close()f_stop_seg_list = f_stop_text.split('\n')for myword in liststr.split('/'):if not (myword.strip() in f_stop_seg_list) and len(myword.strip()) > 1:mywordlist.append(myword)return ''.join(mywordlist)# 使用NLPIR 获取新词def getNewWordsByNLPIR(text, number):txt1 = GetNewWords(text, c_int(number), [c_char_p, c_int, c_bool])txt2 = txt1.split('#')txt3 = []txt4 = []txt5 = []for item2 in txt2:txt3.append(item2.encode('utf-8').split('/'))if txt3 != []:txt4.append(txt3)txt3 = []for i in txt4:for j in i:if j[0] != [] and j[0] != '':txt5.append(j[0])return txt5# 使用NLPIR 进行分词def useNLPIR(text):txt = seg(text)seg_list = []for t in txt:seg_list.append(t[0].encode('utf-8'))return seg_list# 去除停用词def NLPIRclearText(seg_list):mywordlist = []liststr = "/ ".join(seg_list)f_stop = open(stopwords_path)try:f_stop_text = f_stop.read()f_stop_text = unicode(f_stop_text, 'utf-8')finally:f_stop.close()f_stop_seg_list = f_stop_text.split('\n')for myword in liststr.split('/'):if not (myword.strip() in f_stop_seg_list) and len(myword.strip()) > 1:mywordlist.append(myword)return ''.join(mywordlist)# 如果使用中文分词的话if isCN == 1:add_word(text, number)if isJieba == 0:seg_list = useNLPIR(text)text = NLPIRclearText(seg_list)text = unicode(text, encoding='utf8')else:add_word(my_words_list)text = jiebaclearText(text)# 生成词云, 可以用generate输入全部文本(wordcloud对中文分词支持不好,建议启用中文分词),也可以我们计算好词频后使用generate_from_frequencies函数wc.generate(text)print text# wc.generate_from_frequencies(txt_freq)# txt_freq例子为[('词a', 100),('词b', 90),('词c', 80)]# 从背景图片生成颜色值image_colors = ImageColorGenerator(back_coloring)plt.figure()# 以下代码显示图片plt.imshow(wc)plt.axis("off")plt.show()# 绘制词云# 保存图片wc.to_file(path.join(d, imgname1))image_colors = ImageColorGenerator(back_coloring)plt.imshow(wc.recolor(color_func=image_colors))plt.axis("off")# 绘制背景图片为颜色的图片plt.figure()plt.imshow(back_coloring, cmap=plt.cm.gray)plt.axis("off")plt.show()# 保存图片wc.to_file(path.join(d, imgname2))
如果觉得《Python 任意中文文本生成词云 最终版本》对你有帮助，请点赞、收藏，并留下你的观点哦！
