前言 本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯繫我們以作處理。 作者：CDA數據分析師 地攤經濟火了！微博微熱點數據 我們先看到微博微熱點的數據：全網熱度指數趨勢 從全網熱度指數的變化趨勢來看，地攤經濟的熱度在6月3日起逐步升溫，6月4日 ...
前言
本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯繫我們以作處理。
作者：CDA數據分析師
地攤經濟火了！微博微熱點數據
我們先看到微博微熱點的數據：全網熱度指數趨勢
從全網熱度指數的變化趨勢來看，地攤經濟的熱度在6月3日起逐步升溫，6月4日9時達到了99.69的峰值。
全網關鍵詞雲圖
再看到全網關鍵詞雲圖，在與地攤經濟相關的全部信息中， 提及頻次最高的詞語依次為"地攤經濟"、“擺攤"和"全員”。
B站視頻彈幕數據
目前在B站上也涌現出許多關於地攤經濟的視頻。
我們看到其中這個關於成都地攤經濟與文化的視頻，目前該個視頻在B站上播放量達到14.1萬，收穫了3856條彈幕。
地址：https://www.bilibili.com/video/BV1Ft4y1y7iG?from=search&seid=12113765873623399312
那麼這些彈幕中大家都在談論些什麼呢？我們對這些彈幕進行分析整理，讓我們看到詞雲圖。
彈幕詞雲圖
可以看到大家討論最多的就是除了"地攤"、“成都”，還有就是"衛生"、“城管”、“利潤"等內容。其中地攤"美食”、“小吃”、“燒烤”、"乾凈"也是大家十分關註的問題。
是否支持地攤經濟彈幕投票
在視頻結尾，也發起了你是否支持地攤經濟的彈幕投票，支持的打數字1，不支持的打數字2，據統計共有1869條彈幕參與投票，其中91.44%的彈幕表示支持，不支持的僅占8.56%。
微博評論話題數據
再讓我們看到對地攤經濟討論呼聲最高的微博。
首先看到微博話題：#你會考慮擺地攤嗎# 我們共分析整理了3436條評論數據：
可以看到在考慮是否擺地攤時，大家考慮最多的就是"城管"的問題了，曾經的城管不讓擺，到今天的城管喊你來擺攤，真是活久見啊。其次"經濟"、“營業額”、"收入"等也是大家特別關心的焦點。
下麵是 #如果擺地攤你會賣什麼# 這個話題，目前該話題共有408.6萬的閱讀，共3934條討論， 去重後我們得到3657條數據。
評論詞雲
通過分析詞雲可以發現，“貼膜"是許多人都想嘗試的地攤項目。其次"燒烤”、“烤冷面”、"煎餅果子"等街頭美食是許多人的選擇。除了吃的，“賣花”、“飾品”、"襪子"等商品也是很多人想嘗試的。有意思的是，"算命"也被多次提到。
再看到 #你的專業擺地攤兒能幹啥# 我們共獲取1641條討論數據。
這裡就比較有意思了：
我們可以看到比如新聞傳播專業的小伙伴選擇賣報紙、機械專業選擇專業開鎖、哲學專業選擇看相算命等魔幻操作。
都是哪些人在參與地攤話題的討論呢？我們對參與話題的微博用戶進行了分析，共獲得4875條條數據。
微博評論用戶性別占比
可以看到，在參與話題的用戶中，女性用戶占比達到了71.62%，而男性用戶僅占28.38%。在地攤經濟的話題中，女性用戶參與比例遠超男性用戶。
評論用戶地區分佈
參與話題的用戶都來自哪些地區呢？經過分析整理可以看到，廣東、北京、河南地區參與度最高，分佈位居前三名。其次是江蘇、也有不少參與話題的海外用戶。
評論用戶年齡分佈
地攤經濟的話題評論中，用戶年齡分佈又是怎樣的呢？經過分析可見，90後的參與度最高，占比高達70.56%。其次是00後，占比12.58%。然後80後位居第三，占比為9.15%。
擺攤吧 後浪！教你用Python分析微博數據
微博評論數據分析
我們使用Python獲取了微博地攤經濟話題的熱門評論數據和B站熱門視頻彈幕數據，進行了處理和分析。B站彈幕的爬蟲之前已經展示過，此處放上微博評論爬蟲關鍵代碼。
01 數據獲取
微博分為：微博網頁端、微博手機端、以及微博移動端，此次我們選擇手機端（https://m.weibo.cn/）進行數據的抓取。
我們要演示的網址如下：
https://weibo.com/5382520929/J4UtmkJUJ?type=comment#_rnd1591495913796
打開上面的網址之後，使用谷歌瀏覽器的抓包工具，將設備切換到手機端並再次刷新網頁。
通過分析網頁可以發現，評論的數據是通過動態js進行載入的，分析得到真實的數據請求地址：
https://m.weibo.cn/comments/hotflow?id=4511703964943057&mid=4511703964943057&max_id=140218361800408&max_id_type=0
參數說明如下：
id/mid:評論ID，抓包獲取。
max_id/max_id_type: 前一頁返回的response數據中。
我們使用requests獲取數據，使用json進行解析並提取數據，關鍵代碼如下：
# 導入包 import requests import numpy as np import pandas as pd import re import time import json from faker import Factory def get_weibo_comment(ids, mid, max_page, max_id=0, max_id_type=0): """ 功能：獲取指定微博的評論數據，數據介面由chrome切換到手機端抓包獲取。 註意事項：此程式每次獲取的數量有限制，每次獲取之後隔5分鐘再抓取即可 """ max_id = max_id max_id_type = max_id_type # 存儲數據 df_all = pd.DataFrame() for i in range(1, max_page): # 列印進度 print('我正在獲取第{}頁的評論信息'.format(i)) # 獲取URL url = 'https://m.weibo.cn/comments/hotflow?id={}&mid={}&max_id={}&max_id_type={}'.format(ids, mid, max_id, max_id_type) # 添加headers headers = { 'User-Agent': Factory().create().user_agent(), 'Referer': 'https://m.weibo.cn/detail/1591254045309', 'cookie': '複製cookie信息', 'X-Requested-With': 'XMLHttpRequest', } # 發起請求 try: r = requests.get(url, headers=headers, timeout=3) except Exception as e: print(e) r = requests.get(url, headers=headers, timeout=3) if r.status_code==200: # 解析數據 json_data = json.loads(r.text) # 獲取數據 comment_data = json_data['data']['data'] created_time = [i.get('created_at') for i in comment_data] text = [i.get('text') for i in comment_data] user_id = [i['user'].get('id') for i in comment_data] screen_name = [i['user'].get('screen_name') for i in comment_data] reply_num = [i.get('total_number') for i in comment_data] like_count = [i.get('like_count') for i in comment_data] # max_id max_id = json_data['data']['max_id'] # max_id_type max_id_type = json_data['data']['max_id_type'] # 存儲數據 df_one = pd.DataFrame({ 'created_time': created_time, 'text': text, 'user_id': user_id, 'screen_name': screen_name, 'reply_num': reply_num, 'like_count': like_count }) # 追加 df_all = df_all.append(df_one, ignore_index=True) # 休眠一秒 time.sleep(np.random.uniform(2)) else: print('解析出錯！列印最後一次的值', max_id, max_id_type) continue return df_all # 運行函數 if __name__ == '__main__': # 獲取一條微博評論 df = get_weibo_comment(ids='4511703964943057', mid='4511703964943057', max_page=200)
獲取到的數據以數據框的形式存儲，包含評論時間、評論文本、評論用戶id，回覆數和點贊數。格式如下所示：
df.head()
02 數據預處理
我們對獲取的數據進行初步的處理，主要包含：
- 重覆值處理
- created_time：提取時間信息
- text：初步清洗
- user_id：根據用戶ID獲取用戶相關信息，步驟暫略。
# 重覆值 df = df.drop_duplicates() # 轉換字典 week_transform = { 'Mon': '星期一', 'Tue': '星期二', 'Wed': '星期三', 'Thu': '星期四', 'Fri': '星期五', 'Sat': '星期六', 'Sun': '星期日' } # 提取星期 df['day_week'] = df['created_time'].str.split(' ').apply(lambda x:x[0]) df['day_week'] = df['day_week'].map(week_transform) # 提取日期時間 df['time'] = df['created_time'].str.split(' ').map(lambda x:x[-1]+'-'+x[1]+'-'+x[2]+' '+x[3]) df['time'] = df.time.str.replace('May', '05').str.replace('Jun', '06') # text 欄位處理 pattern = '<span.*?</span>|<a.*?</a>' df['text'] = [re.sub(pattern, '', i) for i in df['text']] # 刪除列 df = df.drop(['created_time', 'user_id', 'screen_name'], axis=1)
經過清洗之後的數據格式如下：
df.head()
03 數據可視化分析
我們使用pyecharts和stylecloud進行可視化分析，此處只展示部分代碼。
#如果去擺地攤該做什麼生意? def get_cut_words(content_series): # 讀入停用詞表 stop_words = [] with open("stop_words.txt", 'r', encoding='utf-8') as f: lines = f.readlines() for line in lines: stop_words.append(line.strip()) # 添加關鍵詞 my_words = ['胸口碎大石', '烤冷面', '貼膜', '賣衣服', '套大鵝'] for i in my_words: jieba.add_word(i) # 定義停用詞 my_stop_words = ['信公號', '擺地攤', '擺攤', '地攤', '哈哈哈哈', '手機', '這是', '這是哪', '哈哈哈', '真的', '一千', '專業', '有人', '我要', '那種', '只能', '好吃', '喜歡', '城管', '評論', '賣點', '有沒有', '秘籍', ] stop_words.extend(my_stop_words) # 分詞 word_num = jieba.lcut(content_series.str.cat(sep='。'), cut_all=False) # 條件篩選 word_num_selected = [i for i in word_num if i not in stop_words and len(i)>=2] return word_num_selected # 分詞 text = get_cut_words(content_series=df.text) # 獲取top10 shengyi_num = pd.Series(text) num_top10 = shengyi_num.value_counts()[:10] # 條形圖 bar1 = Bar(init_opts=opts.InitOpts(width='1350px', height='750px')) bar1.add_xaxis(num_top10.index.tolist()) bar1.add_yaxis('', num_top10.values.tolist()) bar1.set_global_opts(title_opts=opts.TitleOpts(title='如果去擺地攤該做什麼生意-Top10'), visualmap_opts=opts.VisualMapOpts(max_=150) ) bar1.render() # 繪製詞雲圖 stylecloud.gen_stylecloud(text=' '.join(text), collocations=False, font_path=r'C:\Windows\Fonts\msyh.ttc', # 更換為本機的字體 icon_name='fas fa-pie-chart', size=768, output_name='如果去擺地攤該做什麼生意.png') Image(filename='如果去擺地攤該做什麼生意.png')
