【python爬蟲案例】爬取微博任意搜索關鍵詞的結果,以“唐山打人”為例

来源:https://www.cnblogs.com/mashukui/archive/2022/06/26/16414027.html
-Advertisement-
Play Games

詳細講解python爬蟲代碼,爬微博搜索結果的博文數據。 爬取欄位: 頁碼、微博id、微博bid、微博作者、發佈時間、微博內容、轉發數、評論數、點贊數。 爬蟲技術: 1、requests 發送請求 2、datetime 時間格式轉換 3、jsonpath 快速解析json數據 4、re 正則表達式提... ...


目錄

一、爬取目標

大家好,我是馬哥

今天分享一期python爬蟲案例,爬取目標是新浪微博的微博數據,包含:

頁碼, 微博id, 微博bid, 微博作者, 發佈時間, 微博內容, 轉發數, 評論數, 點贊數

經過分析調研,發現微博有3種訪問方式,分別是:

  1. PC端網頁:https://weibo.com/

  2. 移動端:https://weibo.cn/

  3. 手機端:https://m.weibo.cn/

最終決定,通過手機端爬取。

這裡,給大家分享一個爬蟲小技巧。當目標網站既存在PC網頁端,又有手機移動端,建議爬取移動端,原因是:移動端一般網頁結構簡單,並且反爬能力較弱,更方便爬蟲爬取。

二、展示爬取結果

我通過爬蟲代碼,爬取了“唐山打人”這個關鍵字下的前80頁微博,部分數據如下:爬取結果
一共635條數據,共80頁,差不多每頁不到10條的數據。

三、講解代碼

首先,導入需要用到的庫:

import os
import re  # 正則表達式提取文本
from jsonpath import jsonpath  # 解析json數據
import requests  # 發送請求
import pandas as pd  # 存取csv文件
import datetime  # 

然後,定義一個轉換時間字元串的函數,因為爬取到的時間戳是GMT格式(類似這種:Fri Jun 17 22:21:48 +0800 2022)的,需要轉換成標準格式:

def trans_time(v_str):
	"""轉換GMT時間為標準格式"""
	GMT_FORMAT = '%a %b %d %H:%M:%S +0800 %Y'
	timeArray = datetime.datetime.strptime(v_str, GMT_FORMAT)
	ret_time = timeArray.strftime("%Y-%m-%d %H:%M:%S")
	return ret_time

定義一個請求頭,後面發送請求的時候帶上它,防止反爬:

# 請求頭
headers = {
	"User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Mobile Safari/537.36",
	"accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
	"accept-encoding": "gzip, deflate, br",
}

打開chrome瀏覽器,按F12進入開發者模式,按照下圖操作,分析出目標請求地址:開發者模式
根據分析結果,編寫請求代碼:

# 請求地址
url = 'https://m.weibo.cn/api/container/getIndex'
# 請求參數
params = {
	"containerid": "100103type=1&q={}".format(v_keyword),
	"page_type": "searchall",
	"page": page
}
# 發送請求
r = requests.get(url, headers=headers, params=params)

直接用json格式,接收返回的數據:

# 解析json數據
cards = r.json()["data"]["cards"]

下麵,通過jsonpath,快速解析出各個欄位數據。

科普知識:jsonpath是一種快速解析json數據的方法,語法規則有點像xpath,這裡就不展開講了,

詳細介紹,請見:

JsonPath完全介紹及詳細使用教程_Sunny蔬菜小檸的博客-CSDN博客_jsonpath

下麵展示部分欄位解析過程:

# 轉發數
reposts_count_list = jsonpath(cards, '$..mblog.reposts_count')
# 評論數
comments_count_list = jsonpath(cards, '$..mblog.comments_count')
# 點贊數
attitudes_count_list = jsonpath(cards, '$..mblog.attitudes_count')

把所有的欄位的list數據,拼裝成DataFrame格式數據:

# 把列表數據保存成DataFrame數據
df = pd.DataFrame(
	{
		'頁碼': [page] * len(id_list),
		'微博id': id_list,
		'微博bid': bid_list,
		'微博作者': author_list,
		'發佈時間': time_list,
		'微博內容': text2_list,
		'轉發數': reposts_count_list,
		'評論數': comments_count_list,
		'點贊數': attitudes_count_list,
	}
)

最後,通過to_csv,(記得加上參數 encoding='utf_8_sig')把數據持久化存儲下來。
需要說明的是,微博數據爬取下來後,會存在少量重覆數據,所以,去重處理一下:

# 刪除重覆數據
df.drop_duplicates(subset=['微博bid'], inplace=True, keep='first')
# 再次保存csv文件
df.to_csv(v_weibo_file, index=False, encoding='utf_8_sig')
print('數據清洗完成')

最終,數據保存完畢。

四、同步視頻

4.1 演示視頻

https://www.zhihu.com/zvideo/1521809935360385024

4.2 講解視頻

https://www.zhihu.com/zvideo/1521898658362155008


我是馬哥,感謝您的閱讀。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 遠程連接ubuntu 提前準備: 在Ubuntu中安裝好ssh 安裝步驟:1.安裝openssh-server 😒udo apt-get install openssh-server ​ (過程中會確認是否希望繼續執行,按y就可) ​ 2.查看是否安裝成功:ps -e |grep ssh ​ 3. ...
  • 1 學習參考 MySQL官方文檔 https://dev.mysql.com/doc/refman/8.0/en/delete.html 節選自 MySQL 8.0 Reference Manual_SQL Statements_Data Manipulation Statements_DELETE ...
  • 第一章 緒論 1.1 資料庫系統概述 1.1.1 資料庫的4個基本概念 數據:描述事物的符號記錄,數據的含義稱為數據的語義,二者是不可分的。 資料庫:資料庫是長期存儲在電腦內、有組織的、可共用的大量數據的集合。 資料庫數據基本特點:永久存儲、有組織、可共用。 資料庫管理系統(DBMS):是電腦的 ...
  • SpringBoot使用Redis教程 應用環境: 存放Token、.... 第一步: 添加Redis依賴 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-re ...
  • 📄前言 這個小項目源於github項目:✨50 projects 50 days, 這個項目包含了50個小型前端項目,適合學習了Html+Css+JavaScript但是還沒有學習框架的前端新手作為練習。 這裡是原項目的代碼實現👉擴展卡片 Expanding Cards 📝分析 📍佈局 卡片 ...
  • 本章是系列文章的第八章,用著色演算法進行寄存器的分配過程。 本文中的所有內容來自學習DCC888的學習筆記或者自己理解的整理,如需轉載請註明出處。周榮華@燧原科技 寄存器分配 寄存器分配是為程式處理的值找到存儲位置的問題 這些值可以存放到寄存器,也可以存放在記憶體中 寄存器更快,但數量有限 記憶體很多,但 ...
  • 目錄 一.簡介 二.效果演示 三.源碼下載 四.猜你喜歡 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 基礎 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 轉場 零基礎 O ...
  • 背景: 一般我們可以用HashMap做本地緩存,但是HashMap功能比較弱,不支持Key過期,不支持數據範圍查找等。故在此實現了一個簡易的本地緩存,取名叫fastmap。 功能: 1.支持數據過期 2.支持等值查找 3.支持範圍查找 4.支持key排序 實現思路: 1.等值查找採用HashMap2 ...
一周排行
    -Advertisement-
    Play Games
  • 一:背景 準備開個系列來聊一下 PerfView 這款工具,熟悉我的朋友都知道我喜歡用 WinDbg,這東西雖然很牛,但也不是萬能的,也有一些場景他解決不了或者很難解決,這時候藉助一些其他的工具來輔助,是一個很不錯的主意。 很多朋友喜歡在項目中以記錄日誌的方式來監控項目的流轉情況,其實 CoreCL ...
  • 本來閑來無事,準備看看Dapper擴展的源碼學習學習其中的編程思想,同時整理一下自己代碼的單元測試,為以後的進一步改進打下基礎。 突然就發現問題了,源碼也不看了,開始改代碼,改了好久。 測試Dapper.LiteSql數據批量插入的時候,耗時20秒,感覺不正常,於是我測試了非Dapper版的Lite ...
  • 需求如下,在DEV框架項目中,需要在表格中增加一列顯示圖片,並且能編輯該列圖片,然後進行保存等操作,最終效果如下 這裡使用的是PictureEdit控制項來實現,打開DEV GridControl設計器,在ColumnEdit選擇PictureEdit: 綁定圖片代碼如下: DataTable dtO ...
  • 前兩天微軟偷偷更新了Visual Studio 2022 正式版版本 17.3 發佈,發佈摘要: MAUI 工作負荷 GA 生成 MAUI/Blazor CSS 熱重載支持 現在,你將能夠使用我們的新增功能在 Visual Studio 中使用每個更新試用一系列新功能。 選擇每個功能以瞭解有關特定功 ...
  • 航天和軍工領域的數字化轉型和建設正在積極推進,在與航天二院、航天三院、航天六院、航天九院、無線電廠、兵工廠等單位交流的過程中,用戶更聚焦試驗和生產過程中的痛點,迫切需要解決軟體平臺統一監測和控制設備及軟體與設備協同的問題。 ...
  • .NET 項目預設情況下 日誌是使用的 ILogger 介面,預設提供一下四種日誌記錄程式: 控制台 調試 EventSource EventLog 這四種記錄程式都是預設包含在 .NET 運行時庫中。關於這四種記錄程式的詳細介紹可以直接查看微軟的官方文檔 https://docs.microsof ...
  • 一:背景 上一篇我們聊到瞭如何去找 熱點函數,這一篇我們來看下當你的程式出現了 非托管記憶體泄漏 時如何去尋找可疑的代碼源頭,其實思路很簡單,就是在 HeapAlloc 或者 VirtualAlloc 時做 Hook 攔截,記錄它的調用棧以及分配的記憶體量, PerfView 會將這個 分配量 做成一個 ...
  • 背景 在 CI/CD 流程當中,測試是 CI 中很重要的部分。跟開發人員關係最大的就是單元測試,單元測試編寫完成之後,我們可以使用 IDE 或者 dot cover 等工具獲得單元測試對於業務代碼的覆蓋率。不過我們需要一個獨立的 CLI 工具,這樣我們才能夠在 Jenkins 的 CI 流程集成。 ...
  • 一、應用場景 大家在使用Mybatis進行開發的時候,經常會遇到一種情況:按照月份month將數據放在不同的表裡面,查詢數據的時候需要跟不同的月份month去查詢不同的表。 但是我們都知道,Mybatis是ORM持久層框架,即:實體關係映射,實體Object與資料庫表之間是存在一一對應的映射關係。比 ...
  • 我國目前並未出台專門針對網路爬蟲技術的法律規範,但在司法實踐中,相關判決已屢見不鮮,K 哥特設了“K哥爬蟲普法”專欄,本欄目通過對真實案例的分析,旨在提高廣大爬蟲工程師的法律意識,知曉如何合法合規利用爬蟲技術,警鐘長鳴,做一個守法、護法、有原則的技術人員。 案情介紹 深圳市快鴿互聯網科技有限公司 2 ...