【拖拽可視化大屏】全流程講解用python的pyecharts庫實現拖拽可視化大屏的背後原理,簡單粗暴!

来源:https://www.cnblogs.com/mashukui/archive/2022/05/13/16267047.html
-Advertisement-
Play Games

“整篇文章較長,乾貨很多!建議收藏後,分章節閱讀。” 一、設計方案 整體設計方案思維導圖: 整篇文章,也將按照這個結構來講解。 若有重點關註部分,可點擊章節目錄直接跳轉! 二、項目背景 針對TOP250排行榜的數據,開發一套可視化數據大屏系統,展示各維度數據分析結果。 TOP250排行榜 三、電影爬 ...


“整篇文章較長,乾貨很多!建議收藏後,分章節閱讀。”

一、設計方案

整體設計方案思維導圖:

整篇文章,也將按照這個結構來講解。

若有重點關註部分,可點擊章節目錄直接跳轉!

二、項目背景

針對TOP250排行榜的數據,開發一套可視化數據大屏系統,展示各維度數據分析結果。
TOP250排行榜

三、電影爬蟲

3.1 導入庫

import requests  # 發送請求
from bs4 import BeautifulSoup  # 解析網頁
import pandas as pd  # 存取csv
from time import sleep  # 等待時間
from sqlalchemy import create_engine  # 連接資料庫

3.2 發送請求

定義一些空列表,用於臨時存儲爬取下的數據:

movie_name = []  # 電影名稱
movie_url = []  # 電影鏈接
movie_star = []  # 電影評分
movie_star_people = []  # 評分人數
movie_director = []  # 導演
movie_actor = []  # 主演
movie_year = []  # 上映年份
movie_country = []  # 國家
movie_type = []  # 類型
short_comment = []  # 一句話短評

向網頁發送請求:

res = requests.get(url, headers=headers)

3.3 解析頁面

利用BeautifulSoup庫解析響應頁面:

soup = BeautifulSoup(res.text, 'html.parser')

用BeautifulSoup的select函數,(css解析的方法)編寫代碼邏輯,部分核心代碼:

for movie in soup.select('.item'):
	name = movie.select('.hd a')[0].text.replace('\n', '')  # 電影名稱
	movie_name.append(name)
	url = movie.select('.hd a')[0]['href']  # 電影鏈接
	movie_url.append(url)
	star = movie.select('.rating_num')[0].text  # 電影評分
	movie_star.append(star)
	star_people = movie.select('.star span')[3].text  # 評分人數
	star_people = star_people.strip().replace('人評價', '')

其中,需要說明的是,《大鬧天宮》這部電影和其他電影頁面排版不同:

所以,這裡特殊處理一下:

if name == '大鬧天宮 / 大鬧天宮 上下集  /  The Monkey King':  # 大鬧天宮,特殊處理
	year0 = movie_infos.split('\n')[1].split('/')[0].strip()
	year1 = movie_infos.split('\n')[1].split('/')[1].strip()
	year2 = movie_infos.split('\n')[1].split('/')[2].strip()
	year = year0 + '/' + year1 + '/' + year2
	movie_year.append(year)
	country = movie_infos.split('\n')[1].split('/')[3].strip()
	movie_country.append(country)
	type = movie_infos.split('\n')[1].split('/')[4].strip()
	movie_type.append(type)

3.4 存儲到csv

最後,將爬取到的數據保存到csv文件中:

def save_to_csv(csv_name):
	"""
	數據保存到csv
	:return: None
	"""
	df = pd.DataFrame()  # 初始化一個DataFrame對象
	df['電影名稱'] = movie_name
	df['電影鏈接'] = movie_url
	df['電影評分'] = movie_star
	df['評分人數'] = movie_star_people
	df['導演'] = movie_director
	df['主演'] = movie_actor
	df['上映年份'] = movie_year
	df['國家'] = movie_country
	df['類型'] = movie_type
	df.to_csv(csv_name, encoding='utf_8_sig')  # 將數據保存到csv文件

其中,把各個list賦值為DataFrame的各個列,就把list數據轉換為了DataFrame數據,然後直接to_csv保存。

3.5 講解視頻

同步講解視頻:
https://www.zhihu.com/zvideo/1465578220191592448

四、數據持久化存儲

然後,就可以把csv數據導入到MySQL資料庫,做持久化存儲了。

4.1 導入庫

import pandas as pd  # 存取csv
from sqlalchemy import create_engine  # 連接資料庫

4.2 存入MySQL

最核心的三行代碼:

# 把csv導入mysql資料庫
engine = create_engine('mysql+pymysql://root:[email protected]/db_bigscreen')
df = pd.read_csv('Movie250.csv')
df.to_sql(name='t_film', con=engine, chunksize=1000, if_exists='replace', index=None)

用create_engine創建資料庫連接,格式為:

create_engine('資料庫類型+資料庫驅動://用戶名:密碼@資料庫IP地址/資料庫名稱')

這樣,資料庫連接就創建好了。

然後,用pandas的read_csv函數讀取csv文件。

最後,用pandas的to_sql函數,把數據存入MySQL資料庫:

name='college_t2' #mysql資料庫中的表名
con=engine # 資料庫連接
index=False #不包含索引欄位
if_exists='replace' #如果表中存在數據,就替換掉,另外,還支持append(追加數據)
非常方便地完成了反嚮導入,即:從csv向資料庫的導入。

4.3 講解視頻

同步講解視頻:
https://www.zhihu.com/zvideo/1496218294043009024

五、開發可視化大屏

如文章開頭的思維導圖所說,首先把各個子圖表開發出來,然後用pyecharts的Page組件,把這些子圖表拼裝組合起來,形成大屏。

下麵,依次講解每個子圖表的實現。

5.1 柱形圖

pyecharts官網-柱形圖:A Python Echarts Plotting Library built with love.

因為需要實現分段區間統計,所以先定義出一個區間對象:

# 設置分段
bins = [0, 100000, 200000, 300000, 500000, 1000000, 3000000]
# 設置標簽
labels = ['0-10w', '10w-20w', '20w-30w', '30w-50w', '50w-100w', '100w-300w']

然後,對數據進行按段切割,並統計個數:

# 按分段離散化數據
segments = pd.cut(cmt_count_list, bins, labels=labels)  # 按分段切割數據
counts = pd.value_counts(segments, sort=False).values.tolist()  # 統計個數

最後,採用pyecharts里的Bar對象,畫出柱形圖:

bar = Bar(
	init_opts=opts.InitOpts(theme=theme_config, width="450px", height="350px", chart_id='bar_cmt2'))  # 初始化條形圖
bar.add_xaxis(labels, )  # 增加x軸數據
bar.add_yaxis("評價數", counts)  # 增加y軸數據
bar.set_global_opts(
	legend_opts=opts.LegendOpts(pos_left='right'),
	title_opts=opts.TitleOpts(title="評價數量區間分佈-柱形圖", pos_left='center'),  # 標題
	toolbox_opts=opts.ToolboxOpts(is_show=False, ),  # 不顯示工具箱
	xaxis_opts=opts.AxisOpts(name="評論數",  # x軸名稱
	                         axislabel_opts=opts.LabelOpts(font_size=8)),  # 字體大小
	yaxis_opts=opts.AxisOpts(name="電影數量",
	                         axislabel_opts={"rotate": 0},
	                         splitline_opts=opts.SplitLineOpts(is_show=True,
	                                                           linestyle_opts=opts.LineStyleOpts(type_='solid')),
	                         ),  # y軸名稱
)
# 標記最大值
bar.set_series_opts(
	markpoint_opts=opts.MarkPointOpts(data=[opts.MarkPointItem(type_="max", name="最大值"), ],
	                                  symbol_size=35)  # 標記符號大小
)
bar.render("評價數分佈-柱形圖.html")  # 生成html文件
print('生成完畢:評價數分佈-柱形圖.html')

圖表效果:

5.2 餅圖

pyecharts官網-餅圖:A Python Echarts Plotting Library built with love.

繪製情感分佈的餅圖。所以,首先要對評價數據進行情感分析。

鑒於電影評價內容都是中文文本設計,情感分析採用snownlp技術進行。

score_list = []  # 情感評分值
tag_list = []  # 打標分類結果
pos_count = 0  # 計數器-積極
mid_count = 0  # 計數器-中性
neg_count = 0  # 計數器-消極
for comment in v_cmt_list:
	tag = ''
	sentiments_score = SnowNLP(comment).sentiments
	if sentiments_score < 0.4:  # 情感分小於0.4判定為消極
		tag = '消極'
		neg_count += 1
	elif 0.4 <= sentiments_score <= 0.6:  # 情感分在[0.4,0.6]直接判定為中性
		tag = '中性'
		mid_count += 1
	else:  # 情感分大於0.6判定為積極
		tag = '積極'
		pos_count += 1
	score_list.append(sentiments_score)  # 得分值
	tag_list.append(tag)  # 判定結果
df['情感得分'] = score_list
df['分析結果'] = tag_list
df.to_excel('情感判定結果.xlsx', index=None)  # 把情感分析結果保存到excel文件

按照情感得分值劃分區間:

情感得分值小於0.4,判定為消極
情感得分值在0.4與0.6之間,判定為中性
情感得分值大於0.6,判定為積極

最終將結果保存到Excel文件中,查看下:

將此結果中的數據,帶入到Pie組件中,畫出餅圖:

# 畫餅圖
pie = (
	Pie(init_opts=opts.InitOpts(theme=theme_config, width="450px", height="350px", chart_id='pie1'))
		.add(series_name="評價情感分佈",  # 系列名稱
	         data_pair=[['積極', pos_count],  # 添加數據
	                    ['中性', mid_count],
	                    ['消極', neg_count]],
	         rosetype="radius",  # 是否展示成南丁格爾圖
	         radius=["30%", "55%"],  # 扇區圓心角展現數據的百分比,半徑展現數據的大小
	         )  # 加入數據
		.set_global_opts(  # 全局設置項
		title_opts=opts.TitleOpts(title="短評情感分佈-餅圖", pos_left='center'),  # 標題
		legend_opts=opts.LegendOpts(pos_left='right', orient='vertical')  # 圖例設置項,靠右,豎向排列
	)
		.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}")))  # 樣式設置項
pie.render('情感分佈_餅圖.html')  # 生成html文件
print('生成完畢:情感分佈_餅圖.html')

圖表效果:

5.3 詞雲圖

pyecharts官網-詞雲圖:A Python Echarts Plotting Library built with love.

針對TOP250的電影名稱,繪製出詞雲圖。

先對數據做清洗操作,然後直接畫出詞雲圖即可:

wc = WordCloud(init_opts=opts.InitOpts(width="450px", height="350px", theme=theme_config, chart_id='wc1'))
wc.add(series_name="電影名稱",
       data_pair=data,
       word_size_range=[15, 20],
       width='400px',  # 寬度
       height='300px',  # 高度
       word_gap=5  # 單詞間隔
       )  # 增加數據
wc.set_global_opts(
	title_opts=opts.TitleOpts(pos_left='center',
	                          title="電影名稱分析-詞雲圖",
	                          title_textstyle_opts=opts.TextStyleOpts(font_size=20)  # 設置標題
	                          ),
	tooltip_opts=opts.TooltipOpts(is_show=True),  # 不顯示工具箱
)
wc.set_series_opts(label_opts=opts.LabelOpts(is_show=True))
wc.render('電影名稱_詞雲圖.html')  # 生成html文件
print('生成完畢:電影名稱_詞雲圖.html')

圖表效果:

5.4 數據表格

pyecharts官網-表格:A Python Echarts Plotting Library built with love.

把排名前10的電影詳情數據,展現到大屏上,採用pyecharts里的Table組件實現。

從MySQL資料庫讀取到數據後,直接進行繪製表格:

table = (
	Table(page_title='我的表格標題', )
		.add(headers=['排名', '電影名稱', '評分', '評論數', '上映年', '一句話短評'], rows=data_list, attributes={
		"align": "left",
		"border": False,
		"padding": "20px",
		"style": "background:{}; width:450px; height:350px; font-size:10px; color:#C0C0C0;padding:3px;".format(
			table_color)
	})
		.set_global_opts(title_opts=opts.TitleOpts(title='這是表格1'))
)
table.render('電影排名TOP10_數據表格.html')
print('生成完畢:電影排名TOP10_數據表格.html')

圖表效果:

5.5 漣漪散點圖

pyecharts官網-漣漪散點圖:A Python Echarts Plotting Library built with love.

針對電影的上映年份和評分值,兩個緯度的數據,繪製出漣漪散點圖(漣漪散點圖和普通散點圖的區別,就是漣漪散點圖是動態圖,圖上的每個點都在閃爍,像水面上的漣漪一樣)。

sc = (EffectScatter(init_opts=opts.InitOpts(width="450px", height="350px", theme=theme_config, chart_id='scatter1'))
      .add_xaxis(xaxis_data=x_data)
      .add_yaxis(
	series_name="",
	y_axis=y_data,
	symbol_size=10,
	label_opts=opts.LabelOpts(is_show=False),
)
      .set_series_opts()
      .set_global_opts(
      		# 忽略部分代碼
                       )
      )
sc.render('評分年份分佈-散點圖.html')
print('生成完畢:散點圖.html')

圖表效果:

5.6 條形圖

pyecharts官網-條形圖:A Python Echarts Plotting Library built with love.

針對評論數最多的10個電影名稱,繪製出橫向條形圖。

# 畫條形圖
bar = Bar(
	init_opts=opts.InitOpts(theme=theme_config, width="450px", height="350px", chart_id='bar_cmt1'))  # 初始化條形圖
bar.add_xaxis(x_data)  # 增加x軸數據
bar.add_yaxis("評論數量", y_data)  # 增加y軸數據
bar.reversal_axis()  # 設置水平方向
bar.set_series_opts(label_opts=opts.LabelOpts(position="right"))  # Label出現位置
bar.set_global_opts(
	legend_opts=opts.LegendOpts(pos_left='right'),
	title_opts=opts.TitleOpts(title="評論數TOP10作者-條形圖", pos_left='center'),  # 標題
	toolbox_opts=opts.ToolboxOpts(is_show=False, ),  # 不顯示工具箱
	xaxis_opts=opts.AxisOpts(name="評論",  # x軸名稱
	                         axislabel_opts=opts.LabelOpts(font_size=8, rotate=0),
	                         splitline_opts=opts.SplitLineOpts(is_show=False)
	                         ),
	yaxis_opts=opts.AxisOpts(name="電影",  # y軸名稱
	                         axislabel_opts=opts.LabelOpts(font_size=7, rotate=45),  # y軸名稱
	                         )
)
bar.render("評論數TOP10_條形圖.html")  # 生成html文件
print('生成完畢:評論數TOP10_條形圖.html')

圖表效果:

5.7 大標題

由於pyecharts組件沒有專門用作標題的圖表,我決定靈活運用Table組件實現大標題。即,讓Table只有標題header,沒有數據行row,再針對header做一些樣式調整(字體增大等),即可實現一行大標題。

table = Table()
table.add(headers=[v_title], rows=[], attributes={
	"align": "center",
	"border": False,
	"padding": "2px",
	"style": "background:{}; width:1350px; height:50px; font-size:25px; color:#C0C0C0;".format(table_color)
})
table.render('大標題.html')
print('生成完畢:大標題.html')

圖表效果:

5.8 Page組合

最後,也是最關鍵的一步,把以上所有圖表組合到一起,用Page組件,並且選用DraggablePageLayout方法,即拖拽的方式,組合圖表:

# 繪製:整個頁面
page = Page(
	page_title="基於Python的電影數據分析大屏",
	layout=Page.DraggablePageLayout,  # 拖拽方式
)
page.add(
	# 增加:大標題
	make_title(v_title='基於Python的電影數據分析大屏'),
	# 繪製:中下方數據表格
	make_table(v_df=df_table),
	# 繪製:電影名稱詞雲圖
	filmname_wordcloud(v_str=film_all_list),
	# 繪製:TOP10評論數-條形圖
	make_top10_comment_bar(v_df=df),
	# 繪製情感分佈餅圖
	make_analyse_pie(v_cmt_list=comment_all_list),
	# 繪製:評價數分段統計-柱形圖
	make_cmt_count_bar(v_df=df),
	# 繪製:散點圖
	make_scatter(x_data=year_list, y_data=score_list)
)
page.render('大屏_臨時.html')  # 執行完畢後,打開臨時html併排版,排版完點擊Save Config,把json文件放到本目錄下
print('生成完畢:大屏_臨時.html')

本代碼執行完畢後,打開臨時html併排版,排版完點擊SaveConfig,把json文件放到本目錄下。

再執行最後一步,調用json配置文件,生成最終大屏文件。

# 執行之前,請確保:1、已經把json文件放到本目錄下 2、把json中的title和table的id替換掉
Page.save_resize_html(
	source="大屏_臨時.html",
	cfg_file="chart_config.json",
	dest="大屏_最終_0426.html"
)

拖拽過程的演示視頻:
https://www.zhihu.com/zvideo/1502249430140616704

至此,所有代碼執行完畢,生成了最終大屏html文件。

六、彩蛋-多種主題

為了實現不同顏色主題的大屏可視化效果,我開發了一個實現邏輯,只需修改一個參數,即可展示不同顏色主題。

全局設置主題顏色

theme_config = ThemeType.CHALK # 顏色方案
由於Table組件是不能設置顏色主題的,所以我手寫了一個邏輯(用取色器獲取的RGB值,又轉成十六進位的顏色!),如下:

# 表格和標題的顏色
table_color = ""
if theme_config == ThemeType.DARK:
	table_color = '#333333'
elif theme_config == ThemeType.CHALK:
	table_color = '#293441'
elif theme_config == ThemeType.PURPLE_PASSION:
	table_color = '#5B5C6E'
elif theme_config == ThemeType.ROMANTIC:
	table_color = '#F0E8CD'
elif theme_config == ThemeType.ESSOS:
	table_color = '#FDFCF5'
else:
	table_color = ''

最終實現了多種顏色主題,包含以下。

6.1 CHALK主題

6.2 PURPLE主題

6.3 ESSOS主題

6.4 ROMANTIC主題

6.5 DARK主題

通過5種主題顏色,展示同一個大屏效果,有被炫到嘛?

七、拖拽演示視頻

拖拽過程演示視頻:
https://www.zhihu.com/zvideo/1502249430140616704

八、全流程講解視頻

全流程講解:
https://www.zhihu.com/zvideo/1503013679826690048


by 馬哥python說


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 博客推行版本更新,成果積累制度,已經寫過的博客還會再次更新,不斷地琢磨,高質量高數量都是要追求的,工匠精神是學習必不可少的精神。因此,大家有何建議歡迎在評論區踴躍發言,你們的支持是我最大的動力,你們敢投,我就敢肝 ...
  • 本文緊接上文的AQS源碼,如果對於ReentrantLock沒有基礎可以先閱讀我的上一篇文章學習ReentrantLock的源碼 ReentrantLock鎖重入原理 重入加鎖其實就是將AQS的state進行加一操作 然後釋放鎖資源將AQS的state進行減一操作 當state為0時才會徹底的釋放鎖 ...
  • 目錄 一.簡介 二.效果演示 三.源碼下載 四.猜你喜歡 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 基礎 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 轉場 零基礎 O ...
  • 鑒於本屆諸多同學在一開始接觸到軟體構造課程時出現了對於Github的使用以及對於文件目錄的設置等諸多問題,本人雖然很菜,但是願意寫本篇博客以記錄一些前置內容的操作方法,如有謬誤,敬請指正!謝謝! ...
  • 背景 基於elasticsearch-5.6.0 機器配置:3個雲ecs節點,16G,4核,機械硬碟 優化前,寫入速度平均3000條/s,一遇到壓測,寫入速度驟降,甚至es直接頻率gc、oom等;優化後,寫入速度平均8000條/s,遇到壓測,能在壓測結束後30分鐘內消化完數據,各項指標回歸正常。 生 ...
  • 問題 Mybatis四大對象的創建順序? Mybatis插件的執行順序? 工程創建 環境:Mybatis(3.5.9) mybatis-demo,參考官方文檔 簡單示例 這裡只放出main方法的示例,其餘類請看demo工程。 public static void main(String[] args ...
  • day1 Spring IOC 和 AOP 為內核 IOC inverse of control 控制反轉 AOP aspect oriented programing 面向切麵編程 展現層 WEB SpringMVC 持久層 DAO Spring JDBCTemplate 業務層 SERIVICE ...
  • 背景 在測試環境上遇到一個詭異的問題,部分業務邏輯會記錄用戶ID到資料庫,但記錄的數據會串,比如當前用戶的操作記錄會被其他用戶覆蓋, 而且這個現象是每次重啟後一小段時間內就正常 問題 線上程池內部使用了InheritableThreadLocal獲取用戶信息由於沒有及時remove,線程復用後,拿到 ...
一周排行
    -Advertisement-
    Play Games
  • 分組和樹形結構是不一樣的。 樹形結構是以遞歸形式存在。分組是以鍵值對存在的形式,類似於GroupBy這樣的形式。 舉個例子 ID NAME SEX Class 1 張三 男 1 2 李四 女 2 3 王二 男 1 當以Sex為分組依據時則是 Key Value 男 1 張三 男 1 3 王二 男 1 ...
  • NetCore中將SQLServer資料庫備份為Sql腳本 描述: 最近寫項目收到了一個需求, 就是將SQL Server資料庫備份為Sql腳本, 如果是My Sql之類的還好說, 但是在網上搜了一大堆, 全是教你怎麼操作SSMS的, 就很d疼! 解決方案: 通過各種查找資料, 還有一些老哥的幫助, ...
  • 我的Notion Clowd.Squirrel Squirrel.Windows 是一組工具和適用於.Net的庫,用於管理 Desktop Windows 應用程式的安裝和更新。 Squirrel.Windows 對 Windows 應用程式的實現語言沒有任何要求,甚至無需服務端即可完成增量更新。 ...
  • 轉載請註明來源 https://www.cnblogs.com/brucejiao/p/16188865.html 謝謝! 轉載請註明來源 https://www.cnblogs.com/brucejiao/p/16188865.html 謝謝! 轉載請註明來源 https://www.cnblog ...
  • 1. Netty源碼研究筆記(3)——Channel系列 依舊是通過先縱向再橫向的研究方法,在開篇中,我們發現不管是Sever還是Client,最終的啟動是通過調用channel的對應方法來完成的,而這個動作實際在channel綁定的eventLoop中執行。 接下來,我們繼續EchoSever、E ...
  • 大家好,今天給大家介紹一款輕量、快速、穩定可編排的組件式規則引擎框架LiteFlow。 一、LiteFlow的介紹 LiteFlow官方網站和代碼倉庫地址 官方網站:https://yomahub.com/liteflow Gitee托管倉庫:https://gitee.com/dromara/li ...
  • 我使用Spring AOP實現了用戶操作日誌功能 今天答辯完了,復盤了一下系統,發現還是有一些東西值得拿出來和大家分享一下。 需求分析 系統需要對用戶的操作進行記錄,方便未來溯源 首先想到的就是在每個方法中,去實現記錄的邏輯,但是這樣做肯定是不現實的,首先工作量大,其次違背了軟體工程設計原則(開閉原 ...
  • 《零基礎學Java》 繪製幾何圖形 Java可以分別使用 Graphics 和 Graphics2D 繪製圖形,Graphics類 使用不同的方法繪製不同的圖形(drawLine()方法可f以繪製線、drawRect()方法用於繪製矩形、drawOval()方法用於繪製橢圓形)。 Graphics類 ...
  • 本期教程人臉識別第三方平臺為虹軟科技,本文章講解的是人臉識別RGB活體追蹤技術,免費的功能很多可以自行搭配,希望在你看完本章課程有所收穫。 ...
  • 很多人都喜歡使用黑色的主題樣式,包括我自己,使用了差不多三年的黑色主題,但是個人覺得在進行視窗轉換的時候很廢眼睛。 比如IDEA是全黑的,然後需要看PDF或者WORD又變成白色的了,這樣來回切換導致眼睛很累,畢竟現在網頁以及大部分軟體的界面都是白色的。那麼還是老老實實的使用原來比較順眼的模式吧。 1 ...