只要網速夠快，小視頻看完一個刪一個，任性！Python爬取小視頻

前言

yy平臺，直播界的先驅，有很多主播會把一些自己的直播精彩看點上傳到該平臺下的小視頻欄目中

今天帶大家爬取yy小視頻欄目中所有的小視頻

課程知識點：

1、動態數據抓包演示

2、json數據解析方法

3、視頻數據保存

環境介紹：

python 3.6

pycharm

requests

爬蟲的一般思路：

1、分析目標網頁,確定爬取的url路徑，headers參數

2、發送請求 -- requests 模擬瀏覽器發送請求，獲取響應數據

3、解析數據

4、保存數據

導入工具

import requests
import re
import pprint

分析目標網頁,確定爬取的url路徑，headers參數

url地址：

參數

url = 'https://api-tinyvideo-web.yy.com/home/tinyvideos?'
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36',
}

param = {
    'data': '{"uid":0,"page":1,"pageSize":10}',
}

發送請求 -- requests 模擬瀏覽器發送請求，獲取響應數據

response = requests.get(url=url, headers=headers, params=param)
data = response.json()
# print(data)

解析數據

# 提取欄位
data_list = data['data']['data']

# 迴圈遍歷
for data1 in data_list:
    resdesc = data1['resdesc'] + '.mp4'  # 視頻的題目
    resurl = data1['resurl']  # 視頻的url地址
    # print(resdesc, resurl)

    # new_title = change_title(resdesc)

    video_data = requests.get(resurl, headers=headers).content

保存數據

with open('video\\' + resdesc, mode='wb') as f:
        print('正在下載：', resdesc)
        f.write(video_data)

運行代碼，效果如下：

不管你是零基礎還是有基礎都可以獲取到自己相對應的學習禮包！包括Python軟體工具和2020最新入門到實戰教程。加群695185429即可免費獲取。