前言 最近大家討論最多的就是《流浪地球》了,偶爾刷逼乎,狗血的事情也是層出不窮,各種撕逼大戰,有興趣的小伙伴可以自行搜索。 截止目前,《流浪地球》已上映20天,累計票房43.94億,豆瓣評分7.9分。博主是正月初七看的,票價有點小貴,整體效果還算可以,雖然劇情有點尷尬,各種鏡頭切換有時候看的稀里糊塗 ...
前言
最近大家討論最多的就是《流浪地球》了,偶爾刷逼乎,狗血的事情也是層出不窮,各種撕逼大戰,有興趣的小伙伴可以自行搜索。
截止目前,《流浪地球》已上映20天,累計票房43.94億,豆瓣評分7.9分。博主是正月初七看的,票價有點小貴,整體效果還算可以,雖然劇情有點尷尬,各種鏡頭切換有時候看的稀里糊塗,但還是給了豆瓣四星好評。
爬取
逼乎上很多高手,對《流浪地球》在豆瓣的評分做了細思縝密的分析,有興趣的也去自己搜索,這裡主要是爬取《流浪地球》的好、中、差短評並分詞分析。
爬取數據:
import os
import requests
import codecs
from bs4 import BeautifulSoup
# 給請求指定一個請求頭來模擬chrome瀏覽器
global headers
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36',
'cookie': 'network→www.douban.com→headers查看cookie'}
server = 'https://movie.douban.com/subject/26266893/comments'
# 定義存儲位置
global save_path
save_path = os.getcwd()+"\\Text\\"+'短評_好評.txt'
global page_max
page_max = 25
global comments
comments = ''
# 獲取短評內容
def get_comments(page):
req = requests.get(url=page)
html = req.content
html_doc = str(html, 'utf-8')
bf = BeautifulSoup(html_doc, 'html.parser')
comment = bf.find_all(class_="short")
for short in comment:
global comments
comments = comments + short.text
# 寫入文件
def write_txt(chapter, content, code):
with codecs.open(chapter, 'a', encoding=code)as f:
f.write(content)
# 主方法
def main():
for i in range(0, page_max):
try:
page = server + '?start='+str(i*20)+'&limit=20&sort=new_score&status=P&percent_type=h'
get_comments(page)
write_txt(save_path, comments, 'utf8')
except Exception as e:
print(e)
if __name__ == '__main__':
main()
最終發現,每個類型只能查詢出 500 條短評,後面就看不到了,不知道是否豆瓣有意而為之給隱藏了,哈哈哈原來是沒登錄導致的(headers 設置下 cookie 就可以)。最後讀了一下好評文本居然有40MB,不過最終還是按照500條採樣。
# 好評500條,中評500條,差評500條,自行更換 percent_type 參數即可。
# https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new_score&status=P&percent_type=h
# https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new_score&status=P&percent_type=m
# https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new_score&status=P&percent_type=l
分析
使用結巴中文分詞第三方庫來進行高頻分析:
import jieba
import os
txt = open(os.getcwd()+"\\Text\\"+"短評_差評.txt", "r", encoding='utf-8').read()
words = jieba.lcut(txt)
counts = {}
for word in words:
if len(word) == 1:
continue
else:
counts[word] = counts.get(word, 0) + 1
items = list(counts.items())
items.sort(key=lambda x: x[1], reverse=True)
for i in range(0, 10):
word, count = items[i]
print("{0:<6}{1:>6}".format(word, count))
前十好評高頻出現辭彙:
前十中評高頻出現辭彙:
前十差評高頻出現辭彙:
前十高頻辭彙分析基本沒有任何參考價值,基本就是科幻、地球、特效、電影,這些都是電影的基本元素,其它的都是一些中性辭彙。
然後,我們分析了11-30的高頻辭彙,提取了部分關鍵詞:
好評:
結論:國產希望好萊塢科幻煽情大片。大家註意一下,前三十高頻辭彙只出現了劉慈欣的名字,並沒有出現吳京的名字。
中評:
結論:總體來說還算中肯,不知道為啥會出現三星?原諒我沒有讀過原著,原來是《三體》中"三恆星"系統。
差評:
結論:既然是一星差評,肯定是一黑到底,劇情尷尬、臺詞尷尬、剪輯尷尬、吳京尷尬,相比於好評中高頻出現的原著作者劉慈欣,應該有大部分吳京黑粉。
總結
逼乎上有人做了詳細的統計分析,同類評分電影中,小破球的一星占比出奇的高。不管是意識形態還是商業利益,《流浪地球》註定要被美分狗和《戰狼》PTSD 患者往死里整。《流浪地球》的評價問題已經不僅僅是一部電影的問題。
有興趣的小伙伴可以獲取源碼,自行爬一下:https://gitee.com/52itstyle/Python