Python爬蟲何如抓包?這三個案例手把手教會你,非常詳細...

来源:https://www.cnblogs.com/hahaa/archive/2022/08/26/16628966.html
-Advertisement-
Play Games

很多小伙伴總是問我,數據來源怎麼找啊,怎麼抓包,其實很簡單,多操作幾遍就記住了。 今天咱們通過三個案例來展示一下 某牙直播抓包 首先咱們進入目標網頁,隨便找一個視頻,通過開發者工具抓包分析。 首先按F12或者點擊右鍵選擇檢查,打開開發者工具,依次選擇 network(網路面板) → AII (全部) ...


很多小伙伴總是問我,數據來源怎麼找啊,怎麼抓包,其實很簡單,多操作幾遍就記住了。

今天咱們通過三個案例來展示一下

某牙直播抓包

首先咱們進入目標網頁,隨便找一個視頻,通過開發者工具抓包分析。

首先按F12或者點擊右鍵選擇檢查,打開開發者工具,依次選擇 network(網路面板) → AII (全部)

然後刷新網頁,讓當前網頁內容重新載入出來。

以前是可以直接選擇 media (媒體文件)就能看到了,現在不行了,所以說,互聯網更新迭代很快,網站經常更新,技術也需要時刻準備更新,我們也是學習不能停,一停就落伍。


但是刷新後的數據太多,我們如何確定哪一條是咱們的目標呢?

以當前某牙為例, 視頻改成了m3u8格式,它會把完整視頻分成很多個視頻片段,這些ts文件都是m3u8格式視頻片段。

我們把URL複製到新視窗打開,它就直接把片段下載下來了。

我們完整的視頻是2.26分,但是每一個片段只有幾秒鐘。


那麼計算一下,平均一個五秒,2.26分差不多要17個視頻,還得自己手動合併,多麻煩。

但是它有一個專門的m3u8格式的文件,保存了所有的ts文件內容。

我們直接點擊左上角搜索框,直接搜索 m3u8 ,然後看到一個get開頭的文件,點擊它,再點擊preview (預覽數據) ,視頻的標題等信息都可以看到。

找到這個 definitions 展開 ,m3u8的視頻就在裡面了,原畫、超清、流暢。

可以看到,它也有完整的url地址在這,可以直接用。

我都註釋一下吧


這是直播視頻的數據查找方式

 

這三個案例的爬蟲代碼我都準備好了,點擊藍色字體自取

 

接下來看看微博視頻

某博抓包

第一步詳細介紹,後面就不做太多截圖一一展示了,只展示大概流程了,所以如果忘了,建議多看看第一步的,當然,兩個網站之間不一樣的地方,我都會一一截圖展示。

確定目標網址,打開一個視頻播放頁面。

 

 

 

 

 

 

有點過份暴露,這是我沒想到的,簡單的打個碼。

按F12 打開開發者工具,點擊network 點擊Aii ,刷新網頁。

然後此時發生了一件愉快的事情

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 單例模式是一種創建型設計模式, 讓開發者能夠保證一個類只有一個實例, 並提供一個訪問該實例的全局節點,有助於協調系統整體的行為。 ...
  • 類成員函數指針(member function pointer),是 C++ 語言的一類指針數據類型,用於存儲一個指定類具有給定的形參列表與返回值類型的成員函數的訪問信息。一般我們是不會使用的,都是直接將帶有返回值的函數作為參數或者另存後使用;像函數指針我們一般在“由庫的提供者決定函數調用時機,庫的 ...
  • AOP面向切麵編程 什麼是AOP AOP (Aspect Oriented Programming)意為:面向切麵編程,通過預編譯方式和運行期動態代理實現程式功能的統一維護的一種技術。AOP是OOP的延續,是軟體開發中的一個熱點,也是Spring框架中的一個重要內容,是函數式編程的一種衍生範型。利用 ...
  • 目錄 一.OpenGL 圖像亮度調節 1.原始圖片 2.效果演示 二.OpenGL 圖像亮度調節源碼下載 三.猜你喜歡 零基礎 OpenGL ES 學習路線推薦 : OpenGL ES 學習目錄 >> OpenGL ES 基礎 零基礎 OpenGL ES 學習路線推薦 : OpenGL ES 學習目 ...
  • 1.字典的定義 使用{}定義字典,括弧內用逗號分隔開多個key:value,其中value可以是任意類型,但是key必須是不可變類型且不能重覆,是無序的! info=[ ['name','zhang'], ('age',19) ['gender','男'] ] d={} # 第一種方式定義 d=di ...
  • 什麼是標簽調用?標簽調用是根據調用條件(condition)從數據表(table)讀取調用數量(pagesize)條數據,並按排序方式(order)排序,最終通過標簽模板的佈局輸出數據。可以看出,標簽的工作分兩個部分,一是讀取數據,二是顯示數據。標簽函數原型標簽函數保存於 include/tag.f ...
  • 本文講解了什麼是SpringMVC,詳解第一個MVC程式,restFul和控制器講解,數據處理及跳轉,JSON交互處理,SSM框架的整合,Ajax詳解以及攔截器的講解都在此文章里 ...
  • Java集合10 21.集合家庭作業 21.1Homework01 按要求實現: 封裝一個新聞類,包括標題和內容屬性,提供get、set方法,重寫toString方法,列印對象時只列印標題; 只提供一個帶參數的構造器,實例化對象時,只初始化標題;並實例化兩個對象: 新聞一:新冠確診病例超千萬,數百萬 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...