很多小伙伴總是問我,數據來源怎麼找啊,怎麼抓包,其實很簡單,多操作幾遍就記住了。 今天咱們通過三個案例來展示一下 某牙直播抓包 首先咱們進入目標網頁,隨便找一個視頻,通過開發者工具抓包分析。 首先按F12或者點擊右鍵選擇檢查,打開開發者工具,依次選擇 network(網路面板) → AII (全部) ...
很多小伙伴總是問我,數據來源怎麼找啊,怎麼抓包,其實很簡單,多操作幾遍就記住了。
今天咱們通過三個案例來展示一下
某牙直播抓包
首先咱們進入目標網頁,隨便找一個視頻,通過開發者工具抓包分析。
首先按F12或者點擊右鍵選擇檢查,打開開發者工具,依次選擇 network(網路面板) → AII (全部)
然後刷新網頁,讓當前網頁內容重新載入出來。
以前是可以直接選擇 media (媒體文件)就能看到了,現在不行了,所以說,互聯網更新迭代很快,網站經常更新,技術也需要時刻準備更新,我們也是學習不能停,一停就落伍。
但是刷新後的數據太多,我們如何確定哪一條是咱們的目標呢?
以當前某牙為例, 視頻改成了m3u8格式,它會把完整視頻分成很多個視頻片段,這些ts文件都是m3u8格式視頻片段。
我們把URL複製到新視窗打開,它就直接把片段下載下來了。
我們完整的視頻是2.26分,但是每一個片段只有幾秒鐘。
那麼計算一下,平均一個五秒,2.26分差不多要17個視頻,還得自己手動合併,多麻煩。
但是它有一個專門的m3u8格式的文件,保存了所有的ts文件內容。
我們直接點擊左上角搜索框,直接搜索 m3u8 ,然後看到一個get開頭的文件,點擊它,再點擊preview (預覽數據) ,視頻的標題等信息都可以看到。
找到這個 definitions 展開 ,m3u8的視頻就在裡面了,原畫、超清、流暢。
可以看到,它也有完整的url地址在這,可以直接用。
我都註釋一下吧
這是直播視頻的數據查找方式
這三個案例的爬蟲代碼我都準備好了,點擊藍色字體自取
接下來看看微博視頻
某博抓包
第一步詳細介紹,後面就不做太多截圖一一展示了,只展示大概流程了,所以如果忘了,建議多看看第一步的,當然,兩個網站之間不一樣的地方,我都會一一截圖展示。
確定目標網址,打開一個視頻播放頁面。
有點過份暴露,這是我沒想到的,簡單的打個碼。
按F12 打開開發者工具,點擊network 點擊Aii ,刷新網頁。
然後此時發生了一件愉快的事情