上班用Python採集熱搜榜,堪稱摸魚神器

来源:https://www.cnblogs.com/1234567FENG/archive/2022/06/23/16403242.html
-Advertisement-
Play Games

前言 不知道大家在工作無聊時,有沒有一種衝動:總想掏出手機,看看微博熱搜在討論什麼有趣的話題,但又不方便直接打開微博瀏 覽,今天就和大家分享一個有趣的小爬蟲,定時採集微博熱搜榜&熱評,下麵讓我們來看看具體的實現方法。 頁面分析 熱搜頁 熱榜首頁:https://s.weibo.com/top/sum ...


前言

不知道大家在工作無聊時,有沒有一種衝動:總想掏出手機,看看微博熱搜在討論什麼有趣的話題,但又不方便直接打開微博瀏

覽,今天就和大家分享一個有趣的小爬蟲,定時採集微博熱搜榜&熱評,下麵讓我們來看看具體的實現方法。

頁面分析

熱搜頁

熱榜首頁:https://s.weibo.com/top/summary?cate=realtimehot

 

熱榜首頁的榜單中共五十條數據,在這個頁面,我們需要獲取排行、熱度、標題,以及詳情頁的鏈接。

在這裡插入圖片描述

我們打開頁面後要先 登錄,之後使用 F12 打開開發者工具,Ctrl + R 刷新頁面後找到第一條數據包。這裡需要記錄一下自己的

Cookie 與 User-Agent。
在這裡插入圖片描述

對於標簽的定位,直接使用 Google 工具獲取標簽的 xpath 表達式即可。
在這裡插入圖片描述

詳情頁

對於詳情頁,我們需要獲取評論時間、用戶名稱、轉發次數、評論次數、點贊次數、評論內容這部分信息。
在這裡插入圖片描述

方法與熱搜頁採集方式基本相同,下麵看看如何用代碼實現!

採集代碼

首先導入所需要的模塊。

python插件/素材/源碼加Q群:903971231####
import requests
from time import sleep
import pandas as pd
import numpy as np
from lxml import etree
import re

 

定義全局變數。

•headers:請求頭

•all_df:DataFrame,保存採集的數據

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.54 Safari/537.36',
    'Cookie': '''你的Cookie'''
}
all_df = pd.DataFrame(columns=['排行', '熱度', '標題', '評論時間', '用戶名稱', '轉發次數', '評論次數', '點贊次數', '評論內容'])

 




熱搜榜採集代碼,通過 requests 發起請求,獲取詳情頁鏈接後,跳轉進入詳情頁採集 get_detail_page。
def get_hot_list(url):
    '''
    微博熱搜頁面採集,獲取詳情頁鏈接後,跳轉進入詳情頁採集
    :param url: 微博熱搜頁鏈接
    :return: None
    '''
    page_text = requests.get(url=url, headers=headers).text
    tree = etree.HTML(page_text)
    tr_list = tree.xpath('//*[@id="pl_top_realtimehot"]/table/tbody/tr')
    for tr in tr_list:
        parse_url = tr.xpath('./td[2]/a/@href')[0]
        detail_url = 'https://s.weibo.com' + parse_url
        title = tr.xpath('./td[2]/a/text()')[0]
        try:
            rank = tr.xpath('./td[1]/text()')[0]
            hot = tr.xpath('./td[2]/span/text()')[0]
        except:
            rank = '置頂'
            hot = '置頂'
        get_detail_page(detail_url, title, rank, hot)

 

根據詳情頁鏈接,解析所需頁面數據,並保存到全局變數 all_df 中,對於每個熱搜只採集熱評前三條,熱評不夠則跳過。

def get_detail_page(detail_url, title, rank, hot):
    '''
    根據詳情頁鏈接,解析所需頁面數據,並保存到全局變數 all_df
    :param detail_url: 詳情頁鏈接
    :param title: 標題
    :param rank: 排名
    :param hot: 熱度
    :return: None
    '''
    global all_df
    try:
        page_text = requests.get(url=detail_url, headers=headers).text
    except:
        return None
    tree = etree.HTML(page_text)
    result_df = pd.DataFrame(columns=np.array(all_df.columns))
    # 爬取3條熱門評論信息
    for i in range(1, 4):
        try:
            comment_time = tree.xpath(f'//*[@id="pl_feedlist_index"]/div[4]/div[{i}]/div[2]/div[1]/div[2]/p[1]/a/text()')[0]
            comment_time = re.sub('\s','',comment_time)
            user_name = tree.xpath(f'//*[@id="pl_feedlist_index"]/div[4]/div[{i}]/div[2]/div[1]/div[2]/p[2]/@nick-name')[0]
            forward_count = tree.xpath(f'//*[@id="pl_feedlist_index"]/div[4]/div[{i}]/div[2]/div[2]/ul/li[1]/a/text()')[1]
            forward_count = forward_count.strip()
            comment_count = tree.xpath(f'//*[@id="pl_feedlist_index"]/div[4]/div[{i}]/div[2]/div[2]/ul/li[2]/a/text()')[0]
            comment_count = comment_count.strip()
            like_count = tree.xpath(f'//*[@id="pl_feedlist_index"]/div[4]/div[{i}]/div[2]/div[2]/ul/li[3]/a/button/span[2]/text()')[0]
            comment = tree.xpath(f'//*[@id="pl_feedlist_index"]/div[4]/div[{i}]/div[2]/div[1]/div[2]/p[2]//text()')
            comment = ' '.join(comment).strip()
            result_df.loc[len(result_df), :] = [rank, hot, title, comment_time, user_name, forward_count, comment_count, like_count, comment]
        except Exception as e:
            print(e)
            continue
    print(detail_url, title)
    all_df = all_df.append(result_df, ignore_index=True)

 



調度代碼,向 get_hot_list 中傳入熱搜頁的 url ,最後進行保存即可。
if __name__ == '__main__':
    url = 'https://s.weibo.com/top/summary?cate=realtimehot'
    get_hot_list(url)
    all_df.to_excel('工作文檔.xlsx', index=False)
   python插件/素材/源碼Q群:903971231####

 

對於採集過程中對於一些可能發生報錯的地方,為保證程式的正常運行,都通過異常處理給忽略掉了,整體影響不大!
在這裡插入圖片描述

工作文檔.xlsx

設置定時運行

至此,採集代碼已經完成,想要實現每小時自動運行代碼,可以使用「任務計劃程式」。

在此之前需要我們簡單修改一下上面代碼中的Cookie與最後文件的保存路徑(建議使用絕對路徑),如果在 Jupyter notebook 中運行的需要導出一個 .py 文件

打開任務計劃程式,【創建任務】
在這裡插入圖片描述

輸入名稱,名稱隨便起就好。
在這裡插入圖片描述

選擇【觸發器】>>【新建】>>【設置觸發時間】
在這裡插入圖片描述

選擇【操作】>>【新建】>>【選擇程式】
在這裡插入圖片描述

最後確認即可。到時間就會自動運行,或者右鍵任務手動運行。
在這裡插入圖片描述

「運行效果」

這就是今天要分享的內容,整體難度不大,希望大家能夠有所收穫,文章中的代碼拼接起來就可以運行,如果有什麼問題可以聯

系我哦!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 簡介 是什麼? 確保應用能夠在這些環境中運行和通過質量檢測.並且在部署過程中不出現令人頭疼的版本、配置問題,也無需重新編寫代碼和進行故障修複. Docker之所以發展如此迅速,也是因為它對此給出了一個標準化的解決方案 系統平滑移植,容器虛擬化技術。 解決了運行環境和配置問題的軟體容器,方便做持續集成 ...
  • 二、讀寫分離案例 2.1、背景介紹 面對日益增加的系統訪問量,資料庫的吞吐量面臨著巨大瓶頸,對於同一時刻有大量併發讀操作和較少寫操作類型的應用系統來說,將資料庫拆分為主庫和從庫,主庫負責處理事務性的增刪改操作,從庫負責處理查詢操作,這樣可以有效地避免由數據更新導致的行鎖,使得整個系統的查詢性能得到極 ...
  • 在各種python的項目中,我們時常要持久化的在系統中存儲各式各樣的python的數據結構,常用的比如字典等。尤其是在雲服務類型中的python項目中,要持久化或者臨時的在緩存中儲存一些用戶認證信息和日誌信息等,最典型的比如在資料庫中存儲用戶的token信息。在本文中我們將針對三種類型的python ...
  • 前言 618過去了,前兩天我幹了一件驚天動地的大事,估計這件大事是很多小伙伴都想乾的。我居然用python搶購淘寶商品,沒想到 吧,最勇敢的還是我。關於搶購的思路以及代碼,我將會在這篇文章中詳細的介紹,感興趣的可以往下看喲!!! 目錄 1.項目環境 2.某寶搶購流程分析 3.程式實現思路 4.代碼實 ...
  • #雙色球系統 ##案例: ##中獎條件及獎金錶 ##代碼及解釋 ###main方法代碼: public static void main(String[] args) { //1.隨機6個紅球號碼(1~33,不能重覆),隨機一個藍球號碼(1~16) int[] num = createLuckNum ...
  • 來源:https://www.51cto.com/article/628604.html 你是否還在大量控制台視窗中監控容器,還是對使用終端命令充滿熱情?而使用Docker的圖形用戶界面(GUI)工具,則可以更簡單的對容器進行管理,並提高效率。而且它們都是免費的。 1.Portainer Porta ...
  • Hi,大家好,我是Mic 一個工作3年的粉絲,早上6點給我微信發語音,把我直接嚇醒。 我以為什麼天大的事情,結果一問才知道。 面試官問了他一個問題沒答上來,問題是“Spring裡面,如果兩個id相同的bean會報錯嗎?如果會,在哪個階段報錯?” 下麵看看普通人和高手的回答! 普通人: 兩個id相同的 ...
  • 作為SpringData JPA系列內容的第二篇,此處以SpringBoot項目為基準,講一下集成SpringData JPA的相關要點,帶你快速的上手SpringData JPA,並用實例演示常見的DB操作場景,讓你分分鐘輕鬆玩轉JPA。 ...
一周排行
    -Advertisement-
    Play Games
  • 前言 插件化的需求主要源於對軟體架構靈活性的追求,特別是在開發大型、複雜或需要不斷更新的軟體系統時,插件化可以提高軟體系統的可擴展性、可定製性、隔離性、安全性、可維護性、模塊化、易於升級和更新以及支持第三方開發等方面的能力,從而滿足不斷變化的業務需求和技術挑戰。 一、插件化探索 在WPF中我們想要開 ...
  • 歡迎ReaLTaiizor是一個用戶友好的、以設計為中心的.NET WinForms項目控制項庫,包含廣泛的組件。您可以使用不同的主題選項對項目進行個性化設置,並自定義用戶控制項,以使您的應用程式更加專業。 項目地址:https://github.com/Taiizor/ReaLTaiizor 步驟1: ...
  • EDP是一套集組織架構,許可權框架【功能許可權,操作許可權,數據訪問許可權,WebApi許可權】,自動化日誌,動態Interface,WebApi管理等基礎功能於一體的,基於.net的企業應用開發框架。通過友好的編碼方式實現數據行、列許可權的管控。 ...
  • Channel 是乾什麼的 The System.Threading.Channels namespace provides a set of synchronization data structures for passing data between producers and consume ...
  • efcore如何優雅的實現按年分庫按月分表 介紹 本文ShardinfCore版本 本期主角: ShardingCore 一款ef-core下高性能、輕量級針對分表分庫讀寫分離的解決方案,具有零依賴、零學習成本、零業務代碼入侵適配 距離上次發文.net相關的已經有很久了,期間一直在從事java相關的 ...
  • 前言 Spacesniffer 是一個免費的文件掃描工具,通過使用樹狀圖可視化佈局,可以立即瞭解大文件夾的位置,幫助用戶處理找到這些文件夾 當前系統C盤空間 清理後系統C盤空間 下載 Spacesniffer 下載地址:https://spacesniffer.en.softonic.com/dow ...
  • EDP是一套集組織架構,許可權框架【功能許可權,操作許可權,數據訪問許可權,WebApi許可權】,自動化日誌,動態Interface,WebApi管理等基礎功能於一體的,基於.net的企業應用開發框架。通過友好的編碼方式實現數據行、列許可權的管控。 ...
  • 一、ReZero簡介 ReZero是一款.NET中間件 : 全網唯一開源界面操作就能生成API , 可以集成到任何.NET6+ API項目,無破壞性,也可讓非.NET用戶使用exe文件 免費開源:MIT最寬鬆協議 , 一直從事開源事業十年,一直堅持開源 1.1 純ReZero開發 適合.Net Co ...
  • 一:背景 1. 講故事 停了一個月沒有更新文章了,主要是忙於寫 C#內功修煉系列的PPT,現在基本上接近尾聲,可以回頭繼續更新這段時間分析dump的一些事故報告,有朋友微信上找到我,說他們的系統出現了大量的http超時,程式不響應處理了,讓我幫忙看下怎麼回事,dump也抓到了。 二:WinDbg分析 ...
  • 開始做項目管理了(本人3年java,來到這邊之後真沒想到...),天天開會溝通整理需求,他們講話的時候忙裡偷閑整理一下常用的方法,其實語言還是有共通性的,基本上看到方法名就大概能猜出來用法。出去打水的時候看到外面太陽好好,真想在外面坐著曬太陽,回來的時候好兄弟三年前送給我的鍵盤D鍵不靈了,在打"等待 ...