（数据科学学习手札71）利用Python绘制词云图

罗崽崽 發表於 2019-11-17 17:57:00

（数据科学学习手札71）利用Python绘制词云图

<blockquote>
本文对应脚本及数据已上传至我的<code>Github</code>仓库https://github.com/CNFeffery/DataScienceStudyNotes
</blockquote>
<h1 id="1-简介">1 简介</h1>
　　<code>词云图</code>是文本挖掘中用来表征词频的数据可视化图像，通过它可以很直观地展现文本数据中地高频词：
<center><img src="https://img2018.cnblogs.com/blog/1344061/201911/1344061-20191112161009636-1924621575.png" style="zoom: 75%"></center>
<center>图1 词云图示例</center>
　　在<code>Python</code>中有很多可视化框架可以用来制作词云图，如pyecharts，但这些框架并不是专门用于制作词云图的，因此并不支持更加个性化的制图需求，要想创作出更加美观个性的词云图，需要用到一些专门绘制词云图的第三方模块，本文就将针对其中较为优秀易用的wordcloud以及stylecloud的用法进行介绍和举例说明。
<h1 id="2-利用wordcloud绘制词云图">2 利用wordcloud绘制词云图</h1>
　　<code>wordcloud</code>是Python中制作词云图比较经典的一个模块，赋予用户高度的自由度来创作词云图：
<center><img src="https://img2018.cnblogs.com/blog/1344061/201911/1344061-20191112163719275-317506141.png" style="zoom: 75%"></center>
<center>图2 wordcloud制作词云图示例</center>
<h2 id="21-从一个简单的例子开始">2.1 从一个简单的例子开始</h2>
　　这里我们使用到来自wordcloud官方文档中的<code>constitution.txt</code>来作为可视化的数据素材：
<center><img src="https://img2018.cnblogs.com/blog/1344061/201911/1344061-20191112171926407-840053449.png" style="zoom: 100%"></center>
<center>图3 constitution.txt</center>
　　首先我们读入数据并将数据清洗成空格分隔的长字符串：
<pre><code class="language-Python">import re

with open('constitution.txt') as c:
'''抽取文本中的英文部分并小写化，并将空格作为分隔拼接为长字符串'''
text = ' '.join(+', c.read())])

'''查看前100个字符'''
text[:500]
</code></pre>
<center><img src="https://img2018.cnblogs.com/blog/1344061/201911/1344061-20191112173212813-1759734339.png" style="zoom: 100%"></center>
<center>图4 清洗后的片段文本</center>
　　接着使用wordcloud中用于生成词云图的类<code>WordCloud</code>配合<code>matplotlib</code>，在默认参数设置下生成一张简单的词云图：
<pre><code class="language-Python">from wordcloud import WordCloud
import matplotlib.pyplot as plt
%matplotlib inline

'''从文本中生成词云图'''
wordcloud = WordCloud().generate(text)
plt.figure(figsize=)
plt.imshow(wordcloud)
plt.axis('off')
plt.show()
</code></pre>
　　生成的词云图:
<center><img src="https://img2018.cnblogs.com/blog/1344061/201911/1344061-20191112174235003-80172158.png" style="zoom: 75%"></center>
<center>图5 默认参数下的词云图</center>
　　毕竟是在默认参数下生成的词云图，既丑陋又模糊，为了绘制好看的词云图，接下来我们来对wordcloud绘制词云图的细节内容进行介绍，并不断地对图5进行升级改造。
<h2 id="22-wordcloud">2.2 WordCloud</h2>
　　作为<code>wordcloud</code>绘制词云图最核心的类，<code>WordCloud</code>的主要参数及说明如下：
<blockquote>
font_path：字符型，用于传入本地特定字体文件的路径（ttf或otf文件）从而影响词云图的字体族 
width：int型，用于控制词云图画布宽度，默认为400 
height：int型，用于控制词云图画布高度，默认为200 
prefer_horizontal：float型，控制所有水平显示的文字相对于竖直显示文字的比例，越小则词云图中竖直显示的文字越多 
mask：传入蒙版图像矩阵，使得词云的分布与传入的蒙版图像一致 
contour：float型，当mask不为None时，contour参数决定了蒙版图像轮廓线的显示宽度，默认为0即不显示轮廓线 
contour_color：设置蒙版轮廓线的颜色，默认为'black' 
scale：当画布长宽固定时，按照比例进行放大画布，如scale设置为1.5，则长和宽都是原来画布的1.5倍 
min_font_size：int型，控制词云图中最小的词对应的字体大小，默认为4 
max_font_size：int型，控制词云图中最大的词对应的字体大小，默认为200 
max_words：int型，控制一张画布中最多绘制的词个数，默认为200 
stopwords：控制绘图时忽略的停用词，即不绘制停用词中提及的词，默认为None，即调用自带的停用词表（仅限英文，中文需自己提供并传入） 
background_color：控制词云图背景色，默认为'black' 
mode：当设置为'RGBA'且background_color设置为None时，背景色变为透明，默认为'RGB' 
relative_scaling：float型，控制词云图绘制字的字体大小与对应字词频的一致相关性，当设置为1时完全相关，当为0时完全不相关，默认为0.5 
color_func：传入自定义调色盘函数，默认为None 
colormap：对应<code>matplotlib</code>中的colormap调色盘，默认为<code>viridis</code>，这个参数与参数color_func互斥，当color_func有函数传入时本参数失效 
repeat：bool型，控制是否允许一张词云图中出现重复词，默认为False即不允许重复词 
random_state：控制随机数水平，传入某个固定的数字之后每一次绘图文字布局将不会改变
</blockquote>
　　了解了上述参数的意义之后，首先我们修改背景色为白色，增大图床的长和宽，加大scale以提升图片的精细程度，并使得水平显示的文字尽可能多：
<pre><code class="language-Python">'''从文本中生成词云图'''
wordcloud = WordCloud(background_color='white', # 背景色为白色
 height=400, # 高度设置为400
 width=800, # 宽度设置为800
 scale=20, # 长宽拉伸程度设置为20
 prefer_horizontal=0.9999).generate(text)
plt.figure(figsize=)
plt.imshow(wordcloud)
plt.axis('off')
'''保存到本地'''
plt.savefig('图6.jpg', dpi=600, bbox_inches='tight', quality=95)
plt.show()
</code></pre>
<center><img src="https://img2018.cnblogs.com/blog/1344061/201911/1344061-20191112214404366-353428765.jpg" style="zoom: 75%"></center>
<center>图6</center>
　　可以看到相较于图5，在美观程度上有了很大的进步，接下来，我们在图6的基础上添加美国本土地图蒙版：
<center><img src="https://img2018.cnblogs.com/blog/1344061/201911/1344061-20191113091824792-1673171152.png" style="zoom: 75%"></center>
<center>图7 美国本土地图蒙版</center>
　　利用<code>PIL</code>模块读取我们的<code>美国本土地图蒙版.png</code>文件并转换为numpy数组，作为<code>WordCloud</code>的mask参数传入：
<pre><code class="language-Python">from PIL import Image
import numpy as np

usa_mask = np.array(Image.open('美国本土地图蒙版.png'))

'''从文本中生成词云图'''
wordcloud = WordCloud(background_color='white', # 背景色为白色
 height=4000, # 高度设置为400
 width=8000, # 宽度设置为800
 scale=20, # 长宽拉伸程度程度设置为20
 prefer_horizontal=0.9999,
 mask=usa_mask # 添加蒙版
 ).generate(text)
plt.figure(figsize=)
plt.imshow(wordcloud)
plt.axis('off')
'''保存到本地'''
plt.savefig('图8.jpg', dpi=600, bbox_inches='tight', quality=95)
plt.show()
</code></pre>
<center><img src="https://img2018.cnblogs.com/blog/1344061/201911/1344061-20191112220047106-452707056.jpg" style="zoom: 75%"></center>
<center>图8</center>
　　可以看到图8在图6的基础上进一步提升了美观程度，接下来我们利用<code>wordcloud</code>中用于从图片中提取调色方案的类<code>ImageColorGenerator</code>来从下面的星条旗美国地图蒙版中提取色彩方案，进而反馈到词云图上：
<center><img src="https://img2018.cnblogs.com/blog/1344061/201911/1344061-20191112220559812-1100445325.png" style="zoom: 75%"></center>
<center>图9 美国地图蒙版_星条旗色</center>
<pre><code class="language-Python">from PIL import Image
import numpy as np
from wordcloud import ImageColorGenerator

usa_mask = np.array(Image.open('美国地图蒙版_星条旗色.png'))
image_colors = ImageColorGenerator(usa_mask)

'''从文本中生成词云图'''
wordcloud = WordCloud(background_color='white', # 背景色为白色
 height=400, # 高度设置为400
 width=800, # 宽度设置为800
 scale=20, # 长宽拉伸程度程度设置为20
 prefer_horizontal=0.2, # 调整水平显示倾向程度为0.2
 mask=usa_mask, # 添加蒙版
 max_words=1000, # 设置最大显示字数为1000
 relative_scaling=0.3, # 设置字体大小与词频的关联程度为0.3
 max_font_size=80 # 缩小最大字体为80
 ).generate(text)

plt.figure(figsize=)
plt.imshow(wordcloud.recolor(color_func=image_colors), alpha=1)
plt.axis('off')
'''保存到本地'''
plt.savefig('图10.jpg', dpi=600, bbox_inches='tight', quality=95)
plt.show()
</code></pre>
<center><img src="https://img2018.cnblogs.com/blog/1344061/201911/1344061-20191112223914916-607217293.jpg" style="zoom: 75%"></center>
<center>图10</center>
<h2 id="23-中文词云图">2.3 中文词云图</h2>
　　相较于英文文本语料，中文语料处理起来要麻烦一些，我们需要先进行分词等预处理才能进行下一步的处理，这里我们使用某外卖平台用户评论数据，先读取进来看看：
<pre><code class="language-Python">import pandas as pd
import jieba

'''读入原始数据'''
raw_comments = pd.read_csv('waimai_10k.csv');raw_comments.head()
</code></pre>
<center><img src="https://img2018.cnblogs.com/blog/1344061/201911/1344061-20191113100438376-462939278.png" style="zoom: 100%"></center>
<center>图11</center>
　　接下来我们利用<code>re</code>、<code>jieba</code>以及<code>pandas</code>中的<code>apply</code>对评论列进行快速清洗：
<pre><code class="language-Python">'''导入停用词表'''
with open('stopwords.txt') as s:
stopwords = set()

'''传入apply的预处理函数，完成中文提取、分词以及多余空格剔除'''
def preprocessing(c):

c = +', c))) if word != ' ' and word not in stopwords]

return ' '.join(c)

'''将所有语料按空格拼接为一整段文字'''
comments = ' '.join(raw_comments['review'].apply(preprocessing));comments[:500]
</code></pre>
　　得到的结果如图12：
<center><img src="https://img2018.cnblogs.com/blog/1344061/201911/1344061-20191113101954117-1957982389.png" style="zoom: 100%"></center>
<center>图12</center>
　　这时我们就得到所需的文本数据，接下来我们用美团外卖的logo图片作为蒙版绘制词云图：
<center><img src="https://img2018.cnblogs.com/blog/1344061/201911/1344061-20191113102349265-874025580.png" style="zoom: 100%"></center>
<center>图13 美团外卖logo蒙版</center>
<pre><code class="language-Python">from PIL import Image
import numpy as np
from wordcloud import ImageColorGenerator

waimai_mask = np.array(Image.open('美团外卖logo蒙版.png'))
image_colors = ImageColorGenerator(waimai_mask)

'''从文本中生成词云图'''
wordcloud = WordCloud(background_color='white', # 背景色为白色
 height=400, # 高度设置为400
 width=800, # 宽度设置为800
 scale=20, # 长宽拉伸程度程度设置为20
 prefer_horizontal=0.2, # 调整水平显示倾向程度为0.2
 mask=waimai_mask, # 添加蒙版
 max_words=1000, # 设置最大显示字数为1000
 relative_scaling=0.3, # 设置字体大小与词频的关联程度为0.3
 max_font_size=80 # 缩小最大字体为80
 ).generate(comments)

plt.figure(figsize=)
plt.imshow(wordcloud.recolor(color_func=image_colors), alpha=1)
plt.axis('off')
'''保存到本地'''
plt.savefig('图14.jpg', dpi=600, bbox_inches='tight', quality=95)
plt.show()
</code></pre>
　　这时我们会发现词云图上绘制出的全是乱码，这是因为<code>matplotlib</code>默认字体是不包含中文的：
<center><img src="https://img2018.cnblogs.com/blog/1344061/201911/1344061-20191113102821334-1341492512.jpg" style="zoom: 100%"></center>
<center>图14 中文乱码问题</center>
　　这时我们只需要为<code>WordCloud</code>传入font_path参数即可，这里我们选择<code>SimHei</code>字体：
<pre><code class="language-Python">from PIL import Image
import numpy as np
from wordcloud import ImageColorGenerator

waimai_mask = np.array(Image.open('美团外卖logo蒙版.png'))
image_colors = ImageColorGenerator(waimai_mask)

'''从文本中生成词云图'''
wordcloud = WordCloud(font_path='SimHei.ttf', # 定义SimHei字体文件
 background_color='white', # 背景色为白色
 height=400, # 高度设置为400
 width=800, # 宽度设置为800
 scale=20, # 长宽拉伸程度程度设置为20
 prefer_horizontal=0.2, # 调整水平显示倾向程度为0.2
 mask=waimai_mask, # 添加蒙版
 max_words=1000, # 设置最大显示字数为1000
 relative_scaling=0.3, # 设置字体大小与词频的关联程度为0.3
 max_font_size=80 # 缩小最大字体为80
 ).generate(comments)

plt.figure(figsize=)
plt.imshow(wordcloud.recolor(color_func=image_colors), alpha=1)
plt.axis('off')
'''保存到本地'''
plt.savefig('图15.jpg', dpi=600, bbox_inches='tight', quality=95)
plt.show()
</code></pre>
<center><img src="https://img2018.cnblogs.com/blog/1344061/201911/1344061-20191113105519269-742687875.jpg" style="zoom: 100%"></center>
<center>图15</center>
<h1 id="3-利用stylecloud绘制词云图">3 利用stylecloud绘制词云图</h1>
　　<code>stylecloud</code>是一个较为崭新的模块，它基于<code>wordcloud</code>，添加了一系列的崭新特性譬如渐变颜色等，可以支持更为个性化的词云图创作：
<center><img src="https://img2018.cnblogs.com/blog/1344061/201911/1344061-20191113111837152-475614636.png" style="zoom: 100%"></center>
<center>图16 styleword制作词云图示例</center>
<h2 id="31-从一个简单的例子开始">3.1 从一个简单的例子开始</h2>
　　这里我们沿用上一章节中使用过的处理好的text来绘制词云图：
<pre><code class="language-Python">import stylecloud
from IPython.display import Image # 用于在jupyter lab中显示本地图片

'''生成词云图'''
stylecloud.gen_stylecloud(text=text,
 size=512,
 output_name='图17.png')

'''显示本地图片'''
Image(filename='图17.png')
</code></pre>
<center><img src="https://img2018.cnblogs.com/blog/1344061/201911/1344061-20191113124101730-534894979.png" style="zoom: 75%"></center>
<center>图17</center>
　　可以看出，<code>styleword</code>生成词云图的方式跟<code>wordcloud</code>不同，它直接就将原始文本转换成本地词云图片文件，下面我们针对其绘制词云图的细节内容进行介绍。
<h2 id="32-gen_stylecloud">3.2 gen_stylecloud</h2>
　　在<code>stylecloud</code>中绘制词云图只需要<code>gen_stylecloud</code>这一个函数即可，其主要参数及说明如下：
<blockquote>
text：字符串，格式同<code>WordCloud</code>中的<code>generate()</code>方法中传入的text 
gradient：控制词云图颜色渐变的方向，'horizontal'表示水平方向上渐变，'vertical'表示竖直方向上渐变，默认为'horizontal' 
size：控制输出图像文件的分辨率（因为stylecloud默认输出方形图片，所以size传入的单个整数代表长和宽），默认为512 
icon_name：这是stylecloud中的特殊参数，通过传递对应icon的名称，你可以使用多达1544个免费图标来作为词云图的蒙版，点击这里查看你可以免费使用的图标蒙版样式，默认为'fas fa-flag' 
palette：控制调色方案，stylecloud的调色方案调用了palettable，这是一个非常实用的模块，其内部收集了数量惊人的大量的经典调色方案，默认为'cartocolors.qualitative.Bold_5' 
background_color：字符串，控制词云图底色，可传入颜色名称或16进制色彩，默认为'white' 
max_font_size：同<code>wordcloud</code> 
max_words：同<code>wordcloud</code> 
stopwords：bool型，控制是否开启去停用词功能，默认为True，调用自带的英文停用词表 
custom_stopwords：传入自定义的停用词List，配合stopwords共同使用 
output_name：控制输出词云图文件的文件名，默认为<code>stylecloud.png</code> 
font_path：传入自定义字体<code>*.ttf</code>文件的路径 
random_state：同<code>wordcloud</code>
</blockquote>
　　对上述参数有所了解之后，下面我们在图17的基础上进行改良，首先我们将图标形状换成炸弹的样子，接着将配色方案修改为scientific.diverging.Broc_3：
<pre><code class="language-Python">'''生成词云图'''
stylecloud.gen_stylecloud(text=text,
 size=1024,
 output_name='图18.png',
 palette='scientific.diverging.Broc_3', # 设置配色方案
 icon_name='fas fa-bomb' # 设置图标样式
 )

'''显示本地图片'''
Image(filename='图18.png')
</code></pre>
<center><img src="https://img2018.cnblogs.com/blog/1344061/201911/1344061-20191117170107405-1333166180.png" style="zoom: 75%"></center>
<center>图18</center>
<h2 id="33-绘制中文词云图">3.3 绘制中文词云图</h2>
　　在<code>wordcloud</code>中绘制中文词云图类似<code>wordcloud</code>只需要注意传入支持中文的字体文件即可，下面我们使用一个微博语料数据<code>weibo_senti_100k.csv</code>来举例：
<pre><code class="language-Python">weibo = pd.read_csv('weibo_senti_100k.csv')
weibo_text = +', ' '.join(weibo['review'].tolist())))) if word != ' ' and word not in stopwords]
weibo_text[:10]
</code></pre>
<center><img src="https://img2018.cnblogs.com/blog/1344061/201911/1344061-20191117172224764-1901820701.png" style="zoom: 75%"></center>
<center>图19</center>
　　接着我们将蒙版图标样式换成新浪微博，将色彩方案换成colorbrewer.sequential.Reds_3：
<pre><code class="language-Python">'''生成词云图'''
'''生成词云图'''
stylecloud.gen_stylecloud(text=' '.join(weibo_text),
 size=1024,
 output_name='图20.png',
 palette='colorbrewer.sequential.Reds_3', # 设置配色方案为https://jiffyclub.github.io/palettable/colorbrewer/sequential/#reds_3
 icon_name='fab fa-weibo', # 设置图标样式
 gradient='horizontal', # 设置颜色渐变方向为水平
 font_path='SimHei.ttf',
 collocations=False
 )

'''显示本地图片'''
Image(filename='图20.png')
</code></pre>
<center><img src="https://img2018.cnblogs.com/blog/1344061/201911/1344061-20191118112047327-2084431999.png" style="zoom: 75%"></center>
<center>图20</center>
　　以上就是本文的全部内容，如有笔误望指出！ 
来源：https://www.cnblogs.com/feffery/p/11842798.html

頁: [1]

琼殿技术论坛's Archiver

（数据科学学习手札71）利用Python绘制词云图