用Python獲取大眾點評上長沙口味蝦店鋪信息,併進行數據分析

来源:https://www.cnblogs.com/zwhy8/archive/2020/07/22/13361740.html
-Advertisement-
Play Games

前言 口味蝦又叫麻辣小龍蝦。在夏天的時候,邀上三五好友,來上幾盤口味蝦,搭配上啤酒,肥宅的生活就這麼快樂的開始了,味道麻辣爽口,一口下去就想吃下一口!在湖南,沒有吃上口味蝦的夏天都是不完整的。 那麼湖南的吃貨們都喜歡吃哪家的口味蝦呢?今天我們就用數據來盤一盤。 我們使用Python獲取了大眾點評上長 ...


前言

口味蝦又叫麻辣小龍蝦。在夏天的時候,邀上三五好友,來上幾盤口味蝦,搭配上啤酒,肥宅的生活就這麼快樂的開始了,味道麻辣爽口,一口下去就想吃下一口!在湖南,沒有吃上口味蝦的夏天都是不完整的。

那麼湖南的吃貨們都喜歡吃哪家的口味蝦呢?今天我們就用數據來盤一盤。

用Python獲取大眾點評上長沙口味蝦店鋪信息,併進行數據分析

 

我們使用Python獲取了大眾點評上長沙口味蝦店鋪的相關信息,進行了數據分析,整體流程如下:

  • 網路數據獲取
  • 數據讀入
  • 數據探索與可視化
  • K-means聚類分析
用Python獲取大眾點評上長沙口味蝦店鋪信息,併進行數據分析

 

數據讀入

首先導入所需包,並讀入獲取的數據集。

# 導入包
import numpy as np 
import pandas as pd 
import matplotlib.pyplot as plt 
import seaborn as sns 
import jieba 

from pyecharts.charts import Bar, Pie, Page
from pyecharts import options as opts 
from pyecharts.globals import SymbolType, WarningType
WarningType.ShowWarning = False

import plotly.express as px
import plotly.graph_objects as go 

此數據集包含50個搜索頁面共745條數據,欄位包含:餐廳名、星級、星級評分、評論數、人均消費、推薦菜、口味、環境和服務得分。

數據預覽如下:

# 讀入數據
df = pd.read_excel('../data/長沙小龍蝦數據.xlsx')
df.drop('detail_url', axis=1, inplace=True) 
df.head()
用Python獲取大眾點評上長沙口味蝦店鋪信息,併進行數據分析

 

數據預處理

此處我們對數據進行如下處理以便後的分析工作。

  • title: 去除前後符號
  • star:提取星級
  • score: 提取數值,轉換為類別型
  • comment_list:提取口味、環境、服務得分
  • 刪除多餘的行和列
# 星級轉換
transform_star = {
    20: '二星',
    30: '三星',
    35: '準四星',
    40: '四星',
    45: '準五星',
    50: '五星'


# 處理title
df['title'] = df['title'].str.replace(r"\[\'|\'\]", "")
# star處理
df['star'] = df.star.str.extract(r'(\d+)')[0].astype('int')
df['star_label'] = df.star.map(transform_star) 
# 處理score
df['score'] = df['score'].str.replace(r"\[\'|\'\]", "").replace("[]", np.nan) 
df['score'] = df['score'].astype('float')

# 口味
df['taste'] = df.comment_list.str.split(',').str[0].str.extract(r'(\d+\.*\d+)').astype('float')
# 環境
df['environment'] = df.comment_list.str.split(',').str[1].str.extract(r'(\d+\.*\d+)').astype('float')
# 服務
df['service'] = df.comment_list.str.split(',').str[1].str.extract(r'(\d+\.*\d+)').astype('float')

# 刪除列
df.drop('comment_list', axis=1, inplace=True) 
# 刪除行
df.dropna(subset=['taste'], axis=0, inplace=True)
# 刪除記錄少的
df = df[df.star!=20] 

處理之後的數據如下,分析樣本為560條。

df.head() 
用Python獲取大眾點評上長沙口味蝦店鋪信息,併進行數據分析

 

數據可視化

以下展示部分可視化代碼:

1、不同星級店鋪數量分佈

用Python獲取大眾點評上長沙口味蝦店鋪信息,併進行數據分析

 

準四星商戶最多,占比高達65%,超過四星以上的商戶占比18%,其中五星商戶數量最少,僅有10家。

# 產生數據
star_num = df.star.value_counts().sort_index(ascending=True)  
x_data = star_num.index.map(transform_star).tolist()
y_data = star_num.values.tolist() 

# 條形圖
bar1 = Bar(init_opts=opts.InitOpts(width='1350px', height='750px')) 
bar1.add_xaxis(x_data)
bar1.add_yaxis('', y_data) 
bar1.set_global_opts(title_opts=opts.TitleOpts(title='不同星級商戶數量分佈'),
                     visualmap_opts=opts.VisualMapOpts(max_=365)
                    ) 
bar1.render()  

2、店鋪評論數分佈

我們假設評論數目為店鋪的熱度,也就是它越火,消費人數越多,評論數目越多。

從直方圖中可以看出,數據呈現比較嚴重的右偏分佈,其中超過1萬評論的僅有兩家,我們挑選出來看一下,發現這兩家都是超級文和友,超級文和友是長沙網紅打卡地,國慶期間一天排16000+個號的超級網紅龍蝦館,難怪熱度會這麼高。

# 直方圖
px.histogram(data_frame=df , x='review_num', color='star_label', histfunc='sum', 
             title='不同星級的評論數分佈',
             nbins=20, width=1150, height=750) 

3、人均價格區間分佈

用Python獲取大眾點評上長沙口味蝦店鋪信息,併進行數據分析

 

我們繪製了所有店鋪口味蝦人均消費價格分佈的直方圖,發現價格分佈在20~180元之間,其中人均消費大部分都在67-111元的區間內。擴展看,人均消費和商戶的星級有關係嗎?

# 直方圖
px.histogram(data_frame=df , x='mean_price', color='star_label', histfunc='sum', 
             title='小龍蝦人均消費價格分佈', nbins=20, width=1150, height=750) 

4、不同星級店鋪與價格等因素的關係

不同星級與價格的關係:

這裡繪製了星級和價格分佈的小提琴圖,用來展示多組數據的分佈狀態以及概率密度。從圖形可以看出,不同星級和價格之間的分佈有顯著差異,表現為星級越高,平均消費價格越高。

# 小提琴圖
plt.figure(figsize=(15, 8))
sns.violinplot(x='star_label', y='mean_price', data=df, 
               order=['五星', '準五星', '四星', '準四星', '三星']
           ); 
plt.title('不同星級和價格的關係', fontsize=20)
plt.show() 

不同星級和其他得分項的關係:

用Python獲取大眾點評上長沙口味蝦店鋪信息,併進行數據分析

 

我們預想,星級評價越好,它在口味、環境和服務的得分越高,熱度也就越高,從繪製出來的箱線圖也可以驗證我們的這一假設。

那麼店鋪得分與口味、環境、服務、評論數量、平均價格有關係嗎?接下來我們繪製一張多變數圖看一下。

5、數值型變數關係

數值型變數關係

多變數圖用於探索數值型變數之間的關係,從多變數圖可以看出:

用Python獲取大眾點評上長沙口味蝦店鋪信息,併進行數據分析

 

  • 店鋪得分與口味、環境、服務得分呈現較為顯著的線性相關,這也和之前的驗證一致;
  • 店鋪得分和人均消費價格、評論數量關係不顯著;
  • 口味、環境、服務得分之間有顯著的正相關,三者存在高則同高的情況。
# 多變數圖
sns.pairplot(data=df[['score', 'review_num', 'mean_price', 'taste', 'environment', 'service', 'star_label']]
             , hue='star_label') 
plt.show()

數值型變數之間的相關係數

用Python獲取大眾點評上長沙口味蝦店鋪信息,併進行數據分析

 

為了驗證上述可視化的結果,我們通過Python計算數值型變數之間的pearson相關係數,根據經驗,|r|>=0.8時,可視為高相關。從熱力圖中也可以得到上述結論。

# 相關係數
data_corr = df[['score', 'review_num', 'mean_price', 'taste', 'environment', 'service']].corr()

# 熱力圖
plt.figure(figsize=(15, 10))  
sns.heatmap(data_corr, linewidths=0.1, cmap='tab20c_r', annot=True)
plt.title('數值型變數間相關係數', fontdict={'fontsize': 'xx-large', 'fontweight':'heavy'}) 
plt.xticks(fontsize=12) 
plt.yticks(fontsize=12)
plt.show() 

6、 推薦菜詞雲圖

假設店鋪的推薦菜就是不同店鋪的熱門菜,我們使用jieba對推薦菜進行分詞並繪製詞雲圖:

發現"滷蝦"、"口味蝦"、"油爆蝦"是大家愛點的熱門菜。另外大家點口味蝦的同時也愛點"口味花甲"、"鳳爪"、"牛油"之類的串兒等菜。

7、K-means聚類分析群集占比

K-means聚類分析群集占比:

用Python獲取大眾點評上長沙口味蝦店鋪信息,併進行數據分析

 

聚類分析用於將樣本做群集劃分,同一集群內成員的相似性要愈高愈好, 而不同集群間成員的相異性則要愈高愈好。我們使用Python進行了K-means聚類,對數值型變數:得分、評論數、平均價格、口味、環境、服務評論做群集劃分,這裡取K為3。得到以上三群,其中非常推薦的數量有3家,一般推薦的459家,非常不推薦的有97家。我們看一下這三群的描述性統計:

用Python獲取大眾點評上長沙口味蝦店鋪信息,併進行數據分析

 

K-means聚類分析分佈:

用Python獲取大眾點評上長沙口味蝦店鋪信息,併進行數據分析

 

以上是不同群集的直方圖分佈,通過群集分佈圖,可以總結如下:

  • 非常推薦:各項得分最高、評論數最多、價格最高
  • 一般推薦:各項得分居中、評論數居中、價格居中
  • 非常不推薦:各項得分最低、評論數最低、價格最低

由於在做聚類分析時候去除了一個評論數為30509.0的異常樣本。加上這條樣本,得到最終推薦的四家店鋪:

用Python獲取大眾點評上長沙口味蝦店鋪信息,併進行數據分析

 

最後附上大眾點評上熱度值Top10的口味蝦店,看看有沒有你種草的店吧~

用Python獲取大眾點評上長沙口味蝦店鋪信息,併進行數據分析

 

版權聲明:本文為CSDN博主「CDA·數據分析師」的原創文章,遵循CC 4.0 BY-SA版權協議,轉載請附上原文出處鏈接及本聲明。

原文鏈接:https://blog.csdn.net/yoggieCDA/article/details/107333826


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1. 前言 我們真實的伺服器不應該直接暴露到公網上去,否則更加容易泄露伺服器的信息,也更加容易受到攻擊。一個比較“平民化”的方案是使用Nginx反向代理它。今天就來聊一聊使用Nginx反向代理的一些能力,Nginx代理能幫助我們實現很多非常有效的API控制功能。這也解釋了我為什麼一直推薦使用Ngin ...
  • 線程池 “線程池”,顧名思義就是一個線程緩存,線程是稀缺資源,如果被無限制的創建,不僅會消耗系統資源,還會降低系統的穩定性,因此Java中提供線程池對線程進行統一分配、調優和監控 線程池介紹 在web開發中,伺服器需要接受並處理請求,所以會為一個請求來分配一個線程來進行處理。如果每次請求都新創建一個 ...
  • Java NIO是一種基於通道和緩衝區的I/O方式,已經被廣泛的應用,成為解決高併發與大量連接和I/O處理問題的有效方式。 Java NIO相關組件 Java NIO主要有三個核心部分組成,分別是:Channel(通道),Buffer(緩衝區), Selector(選擇器) Channel Chan ...
  • 存儲結構 threadLocal存儲於Thread類上的ThreadLocalMap類型的threadLocals中。 從ThreadLocalMap的名字上可以看出其結構類似於HashMap,它也是使用key-value結構的Entry數組table來存儲ThreadLocal和值。 但區別在於E ...
  • ###extern ######作用1:讓編譯器按C規則編譯函數名和變數名(保持名稱原樣,c++由於可以重載所以名稱前後會添加符號) #ifdef __cplusplus extern "C" { #endif #ifdef __cplusplus } #endif ######作用2:在頭文件中 ...
  • 上帝之火 本系列講述的是開源實時監控告警解決方案Prometheus,這個單詞很牛逼。每次我都能聯想到帶來上帝之火的希臘之神,普羅米修斯。而這個開源的logo也是火,個人挺喜歡這個logo的設計。 本系列著重介紹Prometheus以及如何用它和其周邊的生態來搭建一套屬於自己的實時監控告警平臺。 本 ...
  • 原文地址:https://www.wjcms.net/archives/%E4%BA%94%E5%88%86%E9%92%9F%E5%AD%A6%E4%BC%9Amarkdown%E5%9F%BA%E6%9C%AC%E8%AF%AD%E6%B3%95 寫在前面的話 寫在越來越多的人使用markdow ...
  • Laravel 框架實現無限極分類,更簡單高效的實現方式,無限極分類最佳實踐,open code 與大家共用!感興趣的 Mark 一下,謝謝~ ...
一周排行
    -Advertisement-
    Play Games
  • 下麵是一個標準的IDistributedCache用例: public class SomeService(IDistributedCache cache) { public async Task<SomeInformation> GetSomeInformationAsync (string na ...
  • 這個庫提供了在啟動期間實例化已註冊的單例,而不是在首次使用它時實例化。 單例通常在首次使用時創建,這可能會導致響應傳入請求的延遲高於平時。在註冊時創建實例有助於防止第一次Request請求的SLA 以往我們要在註冊的時候實例單例可能會這樣寫: //註冊: services.AddSingleton< ...
  • 最近公司的很多項目都要改單點登錄了,不過大部分都還沒敲定,目前立刻要做的就只有一個比較老的項目 先改一個試試手,主要目標就是最短最快實現功能 首先因為要保留原登錄方式,所以頁面上的改動就是在原來登錄頁面下加一個SSO登錄入口 用超鏈接寫的入口,頁面改造後如下圖: 其中超鏈接的 href="Staff ...
  • Like運算符很好用,特別是它所提供的其中*、?這兩種通配符,在Windows文件系統和各類項目中運用非常廣泛。 但Like運算符僅在VB中支持,在C#中,如何實現呢? 以下是關於LikeString的四種實現方式,其中第四種為Regex正則表達式實現,且在.NET Standard 2.0及以上平... ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他們的程式記憶體會偶發性暴漲,自己分析了下是非托管記憶體問題,讓我幫忙看下怎麼回事?哈哈,看到這個dump我還是非常有興趣的,居然還有這種游戲幣自助機類型的程式,下次去大玩家看看他們出幣的機器後端是不是C#寫的?由於dump是linux上的程式,剛好win ...
  • 前言 大家好,我是老馬。很高興遇到你。 我們為 java 開發者實現了 java 版本的 nginx https://github.com/houbb/nginx4j 如果你想知道 servlet 如何處理的,可以參考我的另一個項目: 手寫從零實現簡易版 tomcat minicat 手寫 ngin ...
  • 上一次的介紹,主要圍繞如何統一去捕獲異常,以及為每一種異常添加自己的Mapper實現,並且我們知道,當在ExceptionMapper中返回非200的Response,不支持application/json的響應類型,而是寫死的text/plain類型。 Filter為二方包異常手動捕獲 參考:ht ...
  • 大家好,我是R哥。 今天分享一個爽飛了的面試輔導 case: 這個杭州兄弟空窗期 1 個月+,面試了 6 家公司 0 Offer,不知道問題出在哪,難道是杭州的 IT 崩盤了麽? 報名面試輔導後,經過一個多月的輔導打磨,現在成功入職某上市公司,漲薪 30%+,955 工作制,不咋加班,還不捲。 其他 ...
  • 引入依賴 <!--Freemarker wls--> <dependency> <groupId>org.freemarker</groupId> <artifactId>freemarker</artifactId> <version>2.3.30</version> </dependency> ...
  • 你應如何運行程式 互動式命令模式 開始一個互動式會話 一般是在操作系統命令行下輸入python,且不帶任何參數 系統路徑 如果沒有設置系統的PATH環境變數來包括Python的安裝路徑,可能需要機器上Python可執行文件的完整路徑來代替python 運行的位置:代碼位置 不要輸入的內容:提示符和註 ...