NetCloud——一個網易雲音樂評論抓取和分析的Python庫 ...
在17的四月份，我曾經寫了一篇關於網易雲音樂爬蟲的文章，還寫了一篇關於評論數據可視化的文章。在這大半年的時間里，有時會有一些朋友給我發私信詢問一些關於代碼方面的問題。所以我最近抽空乾脆將原來的代碼整理了一下，做成了一個Python模塊NetCloud放在Pypi上了。目前只是對原來的代碼做了一些整理與重構，功能還很不完善，後續打算抽空繼續完善，如果有人用的話可能會長期維護下去。
目前只需要使用命令pip install NetCloud 即可以完成模塊的安裝，支持Windows與Linux系統，以前代碼是基於python2的，現在支持Python3(我簡單測試了一下python3.6應該也沒問題了),python2下運行應該也基本沒問題,但是考慮到編碼問題，以及Python社區即將在2020年不再支持2.x的版本，所以強烈建議使用Python3.x運行模塊。代碼github的地址是Netcloud
關於實現功能以及一些主要介面的說明:
1.主要實現了:
- 對於一首歌曲全部評論的抓取,保存為csv文件格式
- 對於一個歌手全部熱門評論的抓取，存為csv文件
- 對於一首歌曲下全部評論用戶基本信息的抓取，包括:用戶主頁url,用戶年齡,聽歌次數,動態次數,用戶所在地區,用戶動態總數等，這些信息也存為csv文件格式
- 利用全部評論以及熱門評論分詞生成詞雲，統計關鍵詞的頻率
- 利用一首歌曲全部評論用戶的信息，基於pyecharts可視化，包括：用戶所在地區分佈使用geo表示(地圖),用戶年齡的分佈，用戶聽歌數目的分佈，用戶動態的數目分佈，歌曲評論數量關於時間的分佈等等。以前是基於matplotlib來做的，但是只能生成靜態的圖片，而pyecharts可以產生基於網頁的互動式的顯示效果，我感覺效果可能會更好一點。
- 以前抓取是單線程的，效率較低，現在支持多線程了，可以極大地提高抓取效率
2.還需要去完善的(Todolist)
- 如何很好的應對反爬。我實驗發現，在開啟多線程的情況下，抓取一段時間伺服器可能會限制抓取(封ip),目前應對的措施主要是開啟代理ip，不過如何找到較高質量的代理ip地址，就只能自己去想辦法了
-目前還不支持模擬登錄網易雲音樂，查看個人信息，聽歌記錄等，不過Python里應該已經有其他模塊做到了這一點，而且這個應該也不是特別難，後面有空會加上。
-目前還不支持對於歌單的批量抓取，以及獲取用戶聽歌的詳細記錄，後續考慮增加。如果有這部分數據，可以深挖更多東西，比如預測用戶聽歌風格，對用戶按聽歌洗喜好分類，以及做推薦等等。
-目前的分析僅限於簡單的分析統計等等，後續考慮加入更深入的NLP分析。
3.安裝以及主要的函數介面
- 安裝很簡單，只需要 pip install NetCloud，因為模塊以來於一些第三方庫，所以在安裝這些第三方庫的時候可能會出現問題，可以參考4的說明
- 快速使用，一個簡單的例子如下：
from NetCloud.NetCloudCrawler import NetCloudCrawl
from NetCloud.NetCloudAnalyse import NetCloudAnalyse
if __name__ == '__main__':
song_name = "敢愛"
song_id = 186888
singer_name = "張國榮"
singer_id = 6457
crawler = NetCloudCrawl(song_name,song_id,singer_name,singer_id)
crawler.generate_all_necessary_files(threads=10)
analyse = NetCloudAnalyse(song_name,singer_name,song_id,singer_id)
analyse.generate_all_analyse_files(threads=20)3.1 上面的10行左右的代碼就完成了對於張國榮的《敢愛》這首歌的全部評論的抓取，張國榮歌曲熱門評論的抓取，以及歌曲用戶基本信息的抓取，並生成了相應的詞雲圖片，以及一些基本的可視化分析。產生的文件結構如下圖所示：
首先生成文件全部都會在songs這個文件夾下，然後對於每一首歌曲會產生以歌手名字命名的文件夾，然後是歌曲名字的文件夾，最後是相應的抓取文件，比如敢愛.csv就是《敢愛》的全部評論文件，敢愛.jpg就是歌曲評論的詞雲圖片,hot_comments.csv是歌手的熱門評論文件，最後所有的可視化結果都存放在plots文件夾下，可視化文件為html文件需要在瀏覽器打開查看可視化結果。
3.2 模塊主要是兩個類，一個是NetCloudCrawl，用於數據抓取；另一個是 NetCloudAnalyse用於數據的分析。NetCloudCrawl 的 generate_all_necessary_files函數會生成必要的全部評論文件，熱門評論文件，支持多線程，預設是開啟10個線程抓取。NetCloudAnalyse的 generate_all_analyse_files 顧名思義會產生全部的可視化文件，首先它會抓取用戶的全部信息存入文件，然後產生一系列的可視化分析文件(html格式)，最後會產生評論的詞雲文件。基本上調用這兩個函數就可以輕鬆使用NetCloud的主要功能了。
3.3 如果你想自定義抓取，或者不想使用提供的可視化函數介面，也可以使用模塊的其他基本函數完成抓取和分析，模塊的主要函數介面調用格式說明如下：
NetCloudCrawl類
- AES_encrypt(text,key,iv) 這個函數用於網易雲API的解密，基本用不到，不用管
- get_params(page) 獲得必要的解密參數
- get_all_comments() 獲取全部評論
- get_hot_comments() 獲取熱門評論
- get_json(url,params, encSecKey) 獲取網易API json文件
- threading_save_all_comments_to_file(threads = 10) 使用多線程將全部評論文件存入文件，預設是10個線程
- save_pages_comments(begin_page,end_page) 將 begin_page到end_page頁的評論存入文件，主要是供 threading_save_all_comments_to_file 函數調用
- save_to_file(comments_list,filename) 將評論信息列表 comments_list 存入filename 文件
- save_all_comments_to_file() 單線程按順序保存全部評論文件
- get_singer_hot_songs_ids(singer_url) 得到歌手全部熱門歌曲id列表,singer_url為歌手信息頁url
- save_singer_all_hot_comments_to_file() 將歌手的全部熱門評論存入文件
- generate_all_necessary_files(threads = 10) 生成全部必要的文件，包括歌手的全部熱門評論文件，以及歌曲的全部評論文件
- _test 開頭的均為測試函數，請不要調用
NetCloudAnalyse類
- load_comments_csv() 載入全部評論文件為dataframe格式(pandas)
- save_users_info_to_file() 保存歌曲評論下全部用戶(已去重)的信息到文件(單線程)
- threading_save_users_info_to_file(threads = 10) 採用多線程保存用戶信息到文件,預設是10個線程
- save_users_info(users_url,total) 供 threading_save_users_info_to_file調用的中間函數，不用管
- count_comments_lines() 統計全部評論文件的行數
- from_timestamp_to_date(time_stamp,format = "%Y-%m-%d %H:%M:%S") 將時間戳轉日期的函數,預設格式是: 年-月-日 時:分:秒
- load_users_url() 返回全部評論用戶主頁url列表，用於後續用戶信息抓取
- load_users_info_csv() 從用戶信息csv文件載入用戶信息dataframe
- draw_wordcloud(full_comments = True) 繪製評論關鍵詞的詞雲,full_comments = True 表示繪製 全部評論，False 表示繪製熱門評論
- core_visual_analyse() 核心的對於評論用戶信息的可視化分析，產生的html文件有12個，說明如下：
1. age_count_bar.html 年齡分佈(bar 為 柱狀圖表示，下同)
2. agree_count_bar.html 贊同數分佈
3. comments_keywords_bar.html 評論關鍵字分佈(已去除停用詞)
4. comments_year_month_bar.html 評論數量按年月的分佈
5. comments_year_month_day_bar.html 評論數量按年月日的分佈
6. description_keywords_bar.html 用戶簡介關鍵詞分佈
7. events_count_bar.html 用戶動態數目分佈
8. fans_count_bar.html 用戶粉絲數量分佈
9. follow_count_bar.html 用戶關註者數量分佈
10. listening_songs_count_bar.html 用戶聽歌數量分佈
11. users_city_geo.html 用戶所在地區分佈，使用地圖可視化表示
12. users_location_bar.html 用戶所在地區分佈，使用柱狀圖表示
一些可視化實際的效果圖如下：
