用Python製作酷炫詞雲圖,原來這麼簡單!

来源:https://www.cnblogs.com/7758520lzy/archive/2020/01/16/12202755.html
-Advertisement-
Play Games

一、簡介詞雲圖是文本挖掘中用來表徵詞頻的數據可視化圖像,通過它可以很直觀地展現文本數據中地高頻詞:! 圖1 詞雲圖示例 在Python中有很多可視化框架可以用來製作詞雲圖,如pyecharts,但這些框架並不是專門用於製作詞雲圖的,因此並不支持更加個性化的製圖需求,要想創作出更加美觀個性的詞雲圖,需 ...


一、簡介詞雲圖是文本挖掘中用來表徵詞頻的數據可視化圖像,通過它可以很直觀地展現文本數據中地高頻詞:

 

圖1 詞雲圖示例   在Python中有很多可視化框架可以用來製作詞雲圖,如pyecharts,但這些框架並不是專門用於製作詞雲圖的,因此並不支持更加個性化的製圖需求,要想創作出更加美觀個性的詞雲圖,需要用到一些專門繪製詞雲圖的第三方模塊,本文就將針對其中較為優秀易用的wordcloud以及stylecloud的用法進行介紹和舉例說明。 二、利用wordcloud繪製詞雲圖wordcloud是Python中製作詞雲圖比較經典的一個模塊,賦予用戶高度的自由度來創作詞雲圖:

 

圖2 wordcloud製作詞雲圖示例 2.1 從一個簡單的例子開始   這裡我們使用到來自wordcloud官方文檔中的constitution.txt來作為可視化的數據素材:

 

圖3 constitution.txt   首先我們讀入數據並將數據清洗成空格分隔的長字元串: import re with open(‘constitution.txt’) as c: ‘’’抽取文本中的英文部分並小寫化,並將空格作為分隔拼接為長字元串’’’ text = ‘ ‘.join([word.group().lower() for word in re.finditer(‘[a-zA-Z]+’, c.read())]) ‘’’查看前100個字元’’’ text[:500]

 

圖4 清洗後的片段文本   接著使用wordcloud中用於生成詞雲圖的類WordCloud配合matplotlib,在預設參數設置下生成一張簡單的詞雲圖: from wordcloud import WordCloud import matplotlib.pyplot as plt %matplotlib inline ‘’’從文本中生成詞雲圖’’’ wordcloud = WordCloud().generate(text) plt.figure(figsize=[12, 10]) plt.imshow(wordcloud) plt.axis(‘off’) plt.show()   生成的詞雲圖:

 

圖5 預設參數下的詞雲圖   畢竟是在預設參數下生成的詞雲圖,既醜陋又模糊,為了繪製好看的詞雲圖,接下來我們來對wordcloud繪製詞雲圖的細節內容進行介紹,並不斷地對圖5進行升級改造。 2.2 WordCloud   作為wordcloud繪製詞雲圖最核心的類,WordCloud的主要參數及說明如下: fontpath:字元型,用於傳入本地特定字體文件的路徑(ttf或otf文件)從而影響詞雲圖的字體族width:int型,用於控制詞雲圖畫布寬度,預設為400height:int型,用於控制詞雲圖畫布高度,預設為200prefer_horizontal:float型,控制所有水平顯示的文字相對於豎直顯示文字的比例,越小則詞雲圖中豎直顯示的文字越多mask:傳入蒙版圖像矩陣,使得詞雲的分佈與傳入的蒙版圖像一致contour:float型,當mask不為None時,contour參數決定了蒙版圖像輪廓線的顯示寬度,預設為0即不顯示輪廓線contour_color:設置蒙版輪廓線的顏色,預設為’black’scale:當畫布長寬固定時,按照比例進行放大畫布,如scale設置為1.5,則長和寬都是原來畫布的1.5倍min_font_size:int型,控制詞雲圖中最小的詞對應的字體大小,預設為4max_font_size:int型,控制詞雲圖中最大的詞對應的字體大小,預設為200max_words:int型,控制一張畫布中最多繪製的詞個數,預設為200stopwords:控制繪圖時忽略的停用詞,即不繪製停用詞中提及的詞,預設為None,即調用自帶的停用詞表(僅限英文,中文需自己提供並傳入)background_color:控制詞雲圖背景色,預設為’black’mode:當設置為’RGBA’且background_color設置為None時,背景色變為透明,預設為’RGB’relative_scaling:float型,控制詞雲圖繪製字的字體大小與對應字詞頻的一致相關性,當設置為1時完全相關,當為0時完全不相關,預設為0.5color_func:傳入自定義調色盤函數,預設為Nonecolormap:對應matplotlib中的colormap調色盤,預設為viridis,這個參數與參數color_func互斥,當color_func有函數傳入時本參數失效repeat:bool型,控制是否允許一張詞雲圖中出現重覆詞,預設為False即不允許重覆詞random_state:控制隨機數水平,傳入某個固定的數字之後每一次繪圖文字佈局將不會改變 瞭解了上述參數的意義之後,首先我們修改背景色為白色,增大圖床的長和寬,加大scale以提升圖片的精細程度,並使得水平顯示的文字儘可能多: ‘’’從文本中生成詞雲圖’’’wordcloud = WordCloud(background_color=‘white’, # 背景色為白色 height=400, # 高度設置為400 width=800, # 寬度設置為800 scale=20, # 長寬拉伸程度設置為20 prefer_horizontal=0.9999).generate(text)plt.figure(figsize=[8, 4])plt.imshow(wordcloud)plt.axis(‘off’)‘’’保存到本地’’’plt.savefig(‘圖6.jpg’, dpi=600, bbox_inches=‘tight’, quality=95)plt.show()

 

圖6 可以看到相較於圖5,在美觀程度上有了很大的進步,接下來,我們在圖6的基礎上添加美國本土地圖蒙版:

 

圖7 美國本土地圖蒙版 利用PIL模塊讀取我們的美國本土地圖蒙版.png文件並轉換為numpy數組,作為WordCloud的mask參數傳入: from PIL import Imageimport numpy as npusa_mask = np.array(Image.open(‘美國本土地圖蒙版.png’))‘’’從文本中生成詞雲圖’’’wordcloud = WordCloud(background_color=‘white’, # 背景色為白色 height=4000, # 高度設置為400 width=8000, # 寬度設置為800 scale=20, # 長寬拉伸程度程度設置為20 prefer_horizontal=0.9999, mask=usa_mask # 添加蒙版 ).generate(text)plt.figure(figsize=[8, 4])plt.imshow(wordcloud)plt.axis(‘off’)‘’’保存到本地’’’plt.savefig(‘圖8.jpg’, dpi=600, bbox_inches=‘tight’, quality=95)plt.show()

 

圖8 可以看到圖8在圖6的基礎上進一步提升了美觀程度,接下來我們利用wordcloud中用於從圖片中提取調色方案的類ImageColorGenerator來從下麵的星條旗美國地圖蒙版中提取色彩方案,進而反饋到詞雲圖上:

 

圖9 美國地圖蒙版星條旗色 from PIL import Image import numpy as np from wordcloud import ImageColorGenerator usamask = np.array(Image.open(‘美國地圖蒙版星條旗色.png’)) image_colors = ImageColorGenerator(usa_mask) ‘’’從文本中生成詞雲圖’’’ wordcloud = WordCloud(background_color=‘white’, # 背景色為白色 height=400, # 高度設置為400 width=800, # 寬度設置為800 scale=20, # 長寬拉伸程度程度設置為20 prefer_horizontal=0.2, # 調整水平顯示傾向程度為0.2 mask=usa_mask, # 添加蒙版 max_words=1000, # 設置最大顯示字數為1000 relative_scaling=0.3, # 設置字體大小與詞頻的關聯程度為0.3 max_font_size=80 # 縮小最大字體為80 ).generate(text) plt.figure(figsize=[8, 4]) plt.imshow(wordcloud.recolor(color_func=image_colors), alpha=1) plt.axis(‘off’) ‘’’保存到本地’’’ plt.savefig(‘圖10.jpg’, dpi=600, bbox_inches=‘tight’, quality=95) plt.show()

 

圖10 2.3 中文詞雲圖   相較於英文文本語料,中文語料處理起來要麻煩一些,我們需要先進行分詞等預處理才能進行下一步的處理,這裡我們使用某外賣平臺用戶評論數據,先讀取進來看看: import pandas as pd import jieba ‘’’讀入原始數據’’’ raw_comments = pd.read_csv(‘waimai_10k.csv’);raw_comments.head()

 

圖11   接下來我們利用rejieba以及pandas中的apply對評論列進行快速清洗: ‘’’導入停用詞表’’’ with open(‘stopwords.txt’) as s: stopwords = set([line.replace(‘\n’, ‘’) for line in s]) ‘’’傳入apply的預處理函數,完成中文提取、分詞以及多餘空格剔除’’’ def preprocessing(c): c = [word for word in jieba.cut(‘ ‘.join(re.findall(‘[\u4e00-\u9fa5]+’, c))) if word != ‘ ‘ and word not in stopwords] return ‘ ‘.join(c) ‘’’將所有語料按空格拼接為一整段文字’’’ comments = ‘ ‘.join(raw_comments[‘review’].apply(preprocessing));comments[:500]   得到的結果如圖12:

 

圖12   這時我們就得到所需的文本數據,接下來我們用美團外賣的logo圖片作為蒙版繪製詞雲圖:

 

圖13 美團外賣logo蒙版 from PIL import Image import numpy as np from wordcloud import ImageColorGenerator waimai_mask = np.array(Image.open(‘美團外賣logo蒙版.png’)) image_colors = ImageColorGenerator(waimai_mask) ‘’’從文本中生成詞雲圖’’’ wordcloud = WordCloud(background_color=‘white’, # 背景色為白色 height=400, # 高度設置為400 width=800, # 寬度設置為800 scale=20, # 長寬拉伸程度程度設置為20 prefer_horizontal=0.2, # 調整水平顯示傾向程度為0.2 mask=waimai_mask, # 添加蒙版 max_words=1000, # 設置最大顯示字數為1000 relative_scaling=0.3, # 設置字體大小與詞頻的關聯程度為0.3 max_font_size=80 # 縮小最大字體為80 ).generate(comments) plt.figure(figsize=[8, 4]) plt.imshow(wordcloud.recolor(color_func=image_colors), alpha=1) plt.axis(‘off’) ‘’’保存到本地’’’ plt.savefig(‘圖14.jpg’, dpi=600, bbox_inches=‘tight’, quality=95) plt.show()   這時我們會發現詞雲圖上繪製出的全是亂碼,這是因為matplotlib預設字體是不包含中文的:

 

圖14 中文亂碼問題   這時我們只需要為WordCloud傳入font_path參數即可,這裡我們選擇SimHei字體: from PIL import Image import numpy as np from wordcloud import ImageColorGenerator waimai_mask = np.array(Image.open(‘美團外賣logo蒙版.png’)) image_colors = ImageColorGenerator(waimai_mask) ‘’’從文本中生成詞雲圖’’’ wordcloud = WordCloud(font_path=‘SimHei.ttf’, # 定義SimHei字體文件 background_color=‘white’, # 背景色為白色 height=400, # 高度設置為400 width=800, # 寬度設置為800 scale=20, # 長寬拉伸程度程度設置為20 prefer_horizontal=0.2, # 調整水平顯示傾向程度為0.2 mask=waimai_mask, # 添加蒙版 max_words=1000, # 設置最大顯示字數為1000 relative_scaling=0.3, # 設置字體大小與詞頻的關聯程度為0.3 max_font_size=80 # 縮小最大字體為80 ).generate(comments) plt.figure(figsize=[8, 4]) plt.imshow(wordcloud.recolor(color_func=image_colors), alpha=1) plt.axis(‘off’) ‘’’保存到本地’’’ plt.savefig(‘圖15.jpg’, dpi=600, bbox_inches=‘tight’, quality=95) plt.show()

 

圖15 三、利用stylecloud繪製詞雲圖stylecloud是一個較為嶄新的模塊,它基於wordcloud,添加了一系列的嶄新特性譬如漸變顏色等,可以支持更為個性化的詞雲圖創作:

 

圖16 styleword製作詞雲圖示例 3.1 從一個簡單的例子開始   這裡我們沿用上一章節中使用過的處理好的text來繪製詞雲圖: import stylecloud from IPython.display import Image # 用於在jupyter lab中顯示本地圖片 ‘’’生成詞雲圖’’’ stylecloud.gen_stylecloud(text=text, size=512, output_name=‘圖17.png’) ‘’’顯示本地圖片’’’ Image(filename=‘圖17.png’)

 

圖17   可以看出,styleword生成詞雲圖的方式跟wordcloud不同,它直接就將原始文本轉換成本地詞雲圖片文件,下麵我們針對其繪製詞雲圖的細節內容進行介紹。 3.2 gen_stylecloud   在stylecloud中繪製詞雲圖只需要gen_stylecloud這一個函數即可,其主要參數及說明如下: text:字元串,格式同WordCloud中的generate()方法中傳入的textgradient:控制詞雲圖顏色漸變的方向,’horizontal’表示水平方向上漸變,’vertical’表示豎直方向上漸變,預設為’horizontal’ size:控制輸出圖像文件的解析度(因為stylecloud預設輸出方形圖片,所以size傳入的單個整數代表長和寬),預設為512 icon_name:這是stylecloud中的特殊參數,通過傳遞對應icon的名稱,你可以使用多達1544個免費圖標來作為詞雲圖的蒙版,點擊這裡查看你可以免費使用的圖標蒙版樣式,預設為’fas fa-flag’ palette:控制調色方案,stylecloud的調色方案調用了palettable,這是一個非常實用的模塊,其內部收集了數量驚人的大量的經典調色方案,預設為’cartocolors.qualitative.Bold_5’ background_color:字元串,控制詞雲圖底色,可傳入顏色名稱或16進位色彩,預設為’white’ max_font_size:同wordcloudmax_words:同wordcloudstopwords:bool型,控制是否開啟去停用詞功能,預設為True,調用自帶的英文停用詞表 custom_stopwords:傳入自定義的停用詞List,配合stopwords共同使用 output_name:控制輸出詞雲圖文件的文件名,預設為stylecloud.pngfont_path:傳入自定義字體*.ttf文件的路徑 random_state:同wordcloud   對上述參數有所瞭解之後,下麵我們在圖17的基礎上進行改良,首先我們將圖標形狀換成炸彈的樣子,接著將配色方案修改為scientific.diverging.Broc_3: ‘’’生成詞雲圖’’’ stylecloud.gen_stylecloud(text=text, size=1024, output_name=‘圖18.png’, palette=‘scientific.diverging.Broc_3’, # 設置配色方案 icon_name=‘fas fa-bomb’ # 設置圖標樣式 ) ‘’’顯示本地圖片’’’ Image(filename=‘圖18.png’)

 

圖18 3.3 繪製中文詞雲圖   在wordcloud中繪製中文詞雲圖類似wordcloud只需要註意傳入支持中文的字體文件
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 這篇文章最初是因為reboot的群里,有人去面試,筆試題有這個題,不知道怎麼做,什麼思路,就發群里大家討論 我想了一下,簡單說一下我的想法吧,當然,也有很好用的pyinotify模塊專門監聽文件變化,不過我更想介紹的,是解決的思路,畢竟作為面試官,還是想看到一下解決問題的思路,而且我覺得這一題的難點 ...
  • 一,Python介紹 1,python的出生與應用 python的創始人為吉多·範羅蘇姆(Guido van Rossum)。1989年的聖誕節期間,吉多·範羅蘇姆(中文名字:龜叔)為了在阿姆斯特丹打發時間,決心開發一個新的腳本解釋程式,作為ABC語言的一種繼承。 (龜叔:2005年加入谷歌至201 ...
  • 訪問字典中某個‘鍵’時,若鍵不存在則會報錯,比如 如果不想報錯,可以給字典設置預設值。即當鍵存在時,返回鍵對應的值;鍵不存在時,返回預設值: 1 字典自帶的 setdefault 函數 2 collections 模塊的 defaultdict 函數 ...
  • 1. 日期輸出格式化 所有日期、時間的api都在datetime模塊內。 1. datetime = string strftime是datetime類的實例方法。 2. string = datetime strptime是datetime類的靜態方法。 2. 日期比較操作 在datetime模塊 ...
  • 什麼是 泛型? 示例 1 : 不使用泛型 不使用泛型帶來的問題 ADHero(物理攻擊英雄) APHero(魔法攻擊英雄)都是Hero的子類 ArrayList 預設接受Object類型的對象,所以所有對象都可以放進ArrayList中 所以get(0) 返回的類型是Object 接著,需要進行強制 ...
  • Java+Selenium+TestNG自動化測試框架整合 1、簡化代碼 封裝一個定位元素的類,類型為ElementLocation package com.test; import org.openqa.selenium.By; import org.openqa.selenium.WebDriv ...
  • Nginx原理解析 一、反向代理 工作流程 1. 用戶通過功能變數名稱發出訪問Web伺服器的請求,該功能變數名稱被DNS伺服器解析為反向代理伺服器的IP地址; 2. 反向代理伺服器接受用戶的請求; 3. 反向代理伺服器在本地緩存中查找請求的內容,找到後直接把內容發送給用戶; 4. 如果本地緩存里沒有用戶所請求的信息 ...
  • Nginx配置實例 一、反向代理 實例一 1、實現效果 打開瀏覽器,在瀏覽器地址欄輸入地址 www.123.com ,跳轉到linux系統tomcat主頁面中。 2、準備工作 在linux系統中安裝tomcat,使用預設埠8080 3、訪問過程分析 在瀏覽器地址欄輸入地址,請求nginx反向代理服 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...