【python爬蟲案例】爬取微博任意搜索關鍵詞的結果,以“唐山打人”為例

来源:https://www.cnblogs.com/mashukui/archive/2022/06/26/16414027.html
-Advertisement-
Play Games

詳細講解python爬蟲代碼,爬微博搜索結果的博文數據。 爬取欄位: 頁碼、微博id、微博bid、微博作者、發佈時間、微博內容、轉發數、評論數、點贊數。 爬蟲技術: 1、requests 發送請求 2、datetime 時間格式轉換 3、jsonpath 快速解析json數據 4、re 正則表達式提... ...


目錄

一、爬取目標

大家好,我是馬哥

今天分享一期python爬蟲案例,爬取目標是新浪微博的微博數據,包含:

頁碼, 微博id, 微博bid, 微博作者, 發佈時間, 微博內容, 轉發數, 評論數, 點贊數

經過分析調研,發現微博有3種訪問方式,分別是:

  1. PC端網頁:https://weibo.com/

  2. 移動端:https://weibo.cn/

  3. 手機端:https://m.weibo.cn/

最終決定,通過手機端爬取。

這裡,給大家分享一個爬蟲小技巧。當目標網站既存在PC網頁端,又有手機移動端,建議爬取移動端,原因是:移動端一般網頁結構簡單,並且反爬能力較弱,更方便爬蟲爬取。

二、展示爬取結果

我通過爬蟲代碼,爬取了“唐山打人”這個關鍵字下的前80頁微博,部分數據如下:爬取結果
一共635條數據,共80頁,差不多每頁不到10條的數據。

三、講解代碼

首先,導入需要用到的庫:

import os
import re  # 正則表達式提取文本
from jsonpath import jsonpath  # 解析json數據
import requests  # 發送請求
import pandas as pd  # 存取csv文件
import datetime  # 

然後,定義一個轉換時間字元串的函數,因為爬取到的時間戳是GMT格式(類似這種:Fri Jun 17 22:21:48 +0800 2022)的,需要轉換成標準格式:

def trans_time(v_str):
	"""轉換GMT時間為標準格式"""
	GMT_FORMAT = '%a %b %d %H:%M:%S +0800 %Y'
	timeArray = datetime.datetime.strptime(v_str, GMT_FORMAT)
	ret_time = timeArray.strftime("%Y-%m-%d %H:%M:%S")
	return ret_time

定義一個請求頭,後面發送請求的時候帶上它,防止反爬:

# 請求頭
headers = {
	"User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Mobile Safari/537.36",
	"accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
	"accept-encoding": "gzip, deflate, br",
}

打開chrome瀏覽器,按F12進入開發者模式,按照下圖操作,分析出目標請求地址:開發者模式
根據分析結果,編寫請求代碼:

# 請求地址
url = 'https://m.weibo.cn/api/container/getIndex'
# 請求參數
params = {
	"containerid": "100103type=1&q={}".format(v_keyword),
	"page_type": "searchall",
	"page": page
}
# 發送請求
r = requests.get(url, headers=headers, params=params)

直接用json格式,接收返回的數據:

# 解析json數據
cards = r.json()["data"]["cards"]

下麵,通過jsonpath,快速解析出各個欄位數據。

科普知識:jsonpath是一種快速解析json數據的方法,語法規則有點像xpath,這裡就不展開講了,

詳細介紹,請見:

JsonPath完全介紹及詳細使用教程_Sunny蔬菜小檸的博客-CSDN博客_jsonpath

下麵展示部分欄位解析過程:

# 轉發數
reposts_count_list = jsonpath(cards, '$..mblog.reposts_count')
# 評論數
comments_count_list = jsonpath(cards, '$..mblog.comments_count')
# 點贊數
attitudes_count_list = jsonpath(cards, '$..mblog.attitudes_count')

把所有的欄位的list數據,拼裝成DataFrame格式數據:

# 把列表數據保存成DataFrame數據
df = pd.DataFrame(
	{
		'頁碼': [page] * len(id_list),
		'微博id': id_list,
		'微博bid': bid_list,
		'微博作者': author_list,
		'發佈時間': time_list,
		'微博內容': text2_list,
		'轉發數': reposts_count_list,
		'評論數': comments_count_list,
		'點贊數': attitudes_count_list,
	}
)

最後,通過to_csv,(記得加上參數 encoding='utf_8_sig')把數據持久化存儲下來。
需要說明的是,微博數據爬取下來後,會存在少量重覆數據,所以,去重處理一下:

# 刪除重覆數據
df.drop_duplicates(subset=['微博bid'], inplace=True, keep='first')
# 再次保存csv文件
df.to_csv(v_weibo_file, index=False, encoding='utf_8_sig')
print('數據清洗完成')

最終,數據保存完畢。

四、同步視頻

4.1 演示視頻

https://www.zhihu.com/zvideo/1521809935360385024

4.2 講解視頻

https://www.zhihu.com/zvideo/1521898658362155008


我是馬哥,感謝您的閱讀。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 遠程連接ubuntu 提前準備: 在Ubuntu中安裝好ssh 安裝步驟:1.安裝openssh-server 😒udo apt-get install openssh-server ​ (過程中會確認是否希望繼續執行,按y就可) ​ 2.查看是否安裝成功:ps -e |grep ssh ​ 3. ...
  • 1 學習參考 MySQL官方文檔 https://dev.mysql.com/doc/refman/8.0/en/delete.html 節選自 MySQL 8.0 Reference Manual_SQL Statements_Data Manipulation Statements_DELETE ...
  • 第一章 緒論 1.1 資料庫系統概述 1.1.1 資料庫的4個基本概念 數據:描述事物的符號記錄,數據的含義稱為數據的語義,二者是不可分的。 資料庫:資料庫是長期存儲在電腦內、有組織的、可共用的大量數據的集合。 資料庫數據基本特點:永久存儲、有組織、可共用。 資料庫管理系統(DBMS):是電腦的 ...
  • SpringBoot使用Redis教程 應用環境: 存放Token、.... 第一步: 添加Redis依賴 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-re ...
  • 📄前言 這個小項目源於github項目:✨50 projects 50 days, 這個項目包含了50個小型前端項目,適合學習了Html+Css+JavaScript但是還沒有學習框架的前端新手作為練習。 這裡是原項目的代碼實現👉擴展卡片 Expanding Cards 📝分析 📍佈局 卡片 ...
  • 本章是系列文章的第八章,用著色演算法進行寄存器的分配過程。 本文中的所有內容來自學習DCC888的學習筆記或者自己理解的整理,如需轉載請註明出處。周榮華@燧原科技 寄存器分配 寄存器分配是為程式處理的值找到存儲位置的問題 這些值可以存放到寄存器,也可以存放在記憶體中 寄存器更快,但數量有限 記憶體很多,但 ...
  • 目錄 一.簡介 二.效果演示 三.源碼下載 四.猜你喜歡 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 基礎 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 轉場 零基礎 O ...
  • 背景: 一般我們可以用HashMap做本地緩存,但是HashMap功能比較弱,不支持Key過期,不支持數據範圍查找等。故在此實現了一個簡易的本地緩存,取名叫fastmap。 功能: 1.支持數據過期 2.支持等值查找 3.支持範圍查找 4.支持key排序 實現思路: 1.等值查找採用HashMap2 ...
一周排行
    -Advertisement-
    Play Games
  • 使用原因: 在我們服務端調用第三方介面時,如:支付寶,微信支付,我們服務端需要模擬http請求並加上一些自己的邏輯響應給前端最終達到我們想要的效果 1.使用WebClient 引用命名空間 using System.Net; using System.Collections.Specialized; ...
  • WPF 實現帶蒙版的 MessageBox 消息提示框 WPF 實現帶蒙版的 MessageBox 消息提示框 作者:WPFDevelopersOrg 原文鏈接: https://github.com/WPFDevelopersOrg/WPFDevelopers.Minimal 框架使用大於等於.N ...
  • 一、JSON(JavaScript Object Notation)的簡介: ① JSON和XML類似,主要用於存儲和傳輸文本信息,但是和XML相比,JSON更小、更快、更易解析、更易編寫與閱讀。 ② C、Python、C++、Java、PHP、Go等編程語言都支持JSON。 二、JSON語法規則: ...
  • 1.避免Scoped模式註冊的服務變成Singleton模式 當提供一個生命周期模式為Singleton的服務實例時,如果發現該服務中還依賴生命周期模式為Scoped的服務實例(Scoped服務實例將被一個Singleton服務實例所引用),那麼這個被依賴的Scoped服務實例最終會成為一個Sing ...
  • 索引時資料庫提高數據查詢處理性能的一個非常關鍵的技術,索引的使用可以對性能產生上百倍甚至上千倍的影響。接下來,會介紹索引的基本原理、概念,並深入學習資料庫中所使用的索引結構和存儲方式,以及如何管理、維護索引等。 1.索引的基本概念 索引時用來快速查詢表記錄的一種存儲結構,一般使用索引有一下兩個方面: ...
  • django2 路由控制器 Route路由,是一種映射關係。路由是把客戶端請求的url路徑和用戶請求的應用程式,這裡意指django裡面的視圖進行綁定映射的一種關係。 請求路徑和視圖函數不是一一對應的關係 在django中所有的路由最終都被保存到一個叫urlpatterns的文件里,並且該文件必須在 ...
  • 1、我們的目標是獲取微博某博主的全部圖片、視頻 2、拿到網址後 我們先觀察 打開F12 隨著下滑我們發現載入出來了一個叫mymblog的東西,展開響應發現需要的東西就在裡面 3、重點來了!!! 通過觀察發現第二頁比第一頁多了參數since_id 而第二頁的since_id參數剛好在上一頁中能獲取到, ...
  • 一、實現原理 在Servlet3協議規範中,包含在JAR文件/META-INFO/resources/路徑下的資源可以直接訪問。 二、舉例說明 如下圖所示,是我新建的一個Spring Boot Starter項目:zimug-minitor-threadpool,用於實現可配置、可觀測的線程池。其中 ...
  • 精華筆記: static final常量:應用率高 必須聲明同時初始化 由類名打點來訪問,不能被改變 建議:常量所有字母都大寫,多個單詞用_分隔 編譯器在編譯時會將常量直接替換為具體的數,效率高 何時用:數據永遠不變,並且經常使用 抽象方法: 由abstract修飾 只有方法的定義,沒有具體的實現( ...
  • Python有一個for...else語法,它的寫法如下 for i in range(0,100): if i == 3: break else: print("Not found") 該語句表示:若for迴圈遍歷完畢,則執行else部分的語句。也就是說上述代碼不會有任何輸出,而下述代碼會輸出“N ...