一、背景介紹 1.1 爬取目標 用python開發了一個抖音爬蟲採集軟體，可自動按博主抓取其已發佈視頻數據。 為什麼有了源碼還開發界面軟體呢？方便不懂編程代碼的小白用戶使用，無需安裝python，無需改代碼，雙擊打開即用！ 軟體界面截圖： 爬取結果截圖： 結果截圖1: 結果截圖2： 結果截圖3： 以 ...
一、背景介紹
1.1 爬取目標
用python開發了一個抖音爬蟲採集軟體，可自動按博主抓取其已發佈視頻數據。
為什麼有了源碼還開發界面軟體呢？方便不懂編程代碼的小白用戶使用，無需安裝python，無需改代碼，雙擊打開即用！
軟體界面截圖：
爬取結果截圖：
結果截圖1:
結果截圖2：
結果截圖3：
以上。
1.2 演示視頻
軟體使用演示：（不懂編程沒關係，瞭解軟體的作用和使用方法就行）
原文1.2章節
1.3 軟體說明
幾點重要說明：
以上。
二、代碼講解
2.1 爬蟲採集模塊
首先，定義介面地址作為請求地址：
# 請求地址
url = 'https://www.douyin.com/aweme/v1/web/aweme/post/'
定義一個請求頭，用於偽造瀏覽器：
# 請求頭
h1 = {
"Accept": "application/json, text/plain, */*",
"Accept-Encoding": "gzip, deflate",
"Accept-Language": "zh-CN,zh;q=0.9",
"Cookie": self.cookie_val,
"Priority": "u=1, i",
"Referer": "https://www.douyin.com/user/{}?vid=7325137998331399435".format(user_id),
"Sec-Ch-Ua": '"Not_A Brand";v="8", "Chromium";v="120", "Google Chrome";v="120"',
"Sec-Ch-Ua-Mobile": "?0",
"Sec-Ch-Ua-Platform": "macOS",
"Sec-Fetch-Dest": "empty",
"Sec-Fetch-Mode": "cors",
"Sec-Fetch-Site": "same-origin",
"User-Agent": ua,
}
說明一下，cookie是個關鍵參數。
其中，cookie的獲取方法，如下：
這個值非常重要，軟體界面需要填寫！！
加上請求參數，告訴程式你的爬取條件是什麼：
# 請求參數
params = {
"device_platform": "webapp",
"aid": "6383",
"channel": "channel_pc_web",
"sec_user_id": user_id,
"max_cursor": max_cursor,
"locate_item_id": "7325137998331399435",
"locate_query": "false",
"show_live_replay_strategy": "1",
"need_time_list": "0",
"time_list_query": "0",
"whale_cut_token": "",
"cut_version": "1",
"count": 10,
"publish_video_strategy_type": "2",
"pc_client_type": "1",
"version_code": "170400",
"version_name": "17.4.0",
"cookie_enabled": "true",
"screen_width": "1440",
"screen_height": "900", "browser_language": "zh-CN",
"browser_platform": "MacIntel",
"browser_name": "Chrome",
"browser_version": "120.0.0.0",
"browser_online": "true",
"engine_name": "Blink",
"engine_version": "120.0.0.0",
"os_name": "Mac OS",
"os_version": "10.15.7",
"cpu_core_num": "4",
"device_memory": "8",
"platform": "PC",
"downlink": "1.35",
"effective_type": "3g",
"round_trip_time": "550",
"webid": "7312681406147921448",
"msToken": "Bjgl7yWKL7c57PFiwM6V4UWZ54Lm_eh4gjFdyOkX4xV93SpMHyyPMdO1u9j_OvsvgjtNNQFhaK9rWs2G8o7had3VtbDQuuaA41G3yFif70ssE_5ZnqQ6rg",
}
下麵就是發送請求和接收數據：
# 發送請求
r = requests.get(url, headers=h1, params=params)
print(r.status_code)
# 以json格式接收返回數據
json_data = r.json()
定義一些空列表，用於存放解析後欄位數據：
# 定義空列表
title_list = [] # 視頻標題
tag_list = [] # 視頻標簽
link_list = [] # 視頻鏈接
author_name_list = [] # 作者昵稱
uid_list = [] # uid
sec_uid_list = [] # sec_uid
author_link_list = [] # 作者鏈接
follower_count_list = [] # 作者粉絲數
create_time_list = [] # 發佈時間
is_top_list = [] # 是否置頂
like_count_list = [] # 點贊數
comment_count_list = [] # 評論數
collect_count_list = [] # 收藏數
share_count_list = [] # 轉發數
迴圈解析欄位數據，以"視頻標題"為例：
for v in video_list:
# 視頻標題
title = v['desc']
self.tk_show('視頻標題:' + title)
title_list.append(title)
其他欄位同理，不再贅述。
最後，是把數據保存到csv文件：
# 保存數據到DF
df = pd.DataFrame(
{
'頁碼': page,
'作者昵稱': author_name_list,
'uid': uid_list,
'sec_uid': sec_uid_list,
'作者鏈接': author_link_list,
'作者粉絲數': follower_count_list,
'視頻標題': title_list,
'視頻標簽': tag_list,
'視頻鏈接': link_list,
'發佈時間': create_time_list,
'是否置頂': is_top_list,
'點贊數': like_count_list,
'評論數': comment_count_list,
'收藏數': collect_count_list,
'轉發數': share_count_list,
}
)
if os.path.exists(self.result_file): # 如果文件存在，不再設置表頭
header = False
else: # 否則，設置csv文件表頭
header = True
df.to_csv(self.result_file, mode='a+', index=False, header=header, encoding='utf_8_sig')
self.tk_show('保存csv文件成功：' + self.result_file)
完整代碼中，還含有：判斷迴圈結束條件、js逆向參數、時間戳轉換、判斷置頂視頻等關鍵實現邏輯。
2.2 軟體界面模塊
主視窗部分：
# 創建主視窗
root = tk.Tk()
root.title('抖音博主視頻採集軟體v1.1 | 馬哥python說 |')
# 設置視窗大小
root.minsize(width=850, height=650)
輸入控制項部分：
# 用戶鏈接
tk.Label(root, justify='left', text='用戶鏈接:').place(x=30, y=125)
entry_nt = tk.Text(root, bg='#ffffff', width=110, height=14, )
entry_nt.place(x=30, y=150, anchor='nw') # 擺放位置
底部版權部分：
# 版權信息
copyright = tk.Label(root, text='@馬哥python說 All rights reserved.', font=('仿宋', 10), fg='grey')
copyright.place(x=290, y=625)
以上。
2.3 日誌模塊
好的日誌功能，方便軟體運行出問題後快速定位原因，修複bug。
核心代碼：
def get_logger(self):
self.logger = logging.getLogger(__name__)
# 日誌格式
formatter = '[%(asctime)s-%(filename)s][%(funcName)s-%(lineno)d]--%(message)s'
# 日誌級別
self.logger.setLevel(logging.DEBUG)
# 控制台日誌
sh = logging.StreamHandler()
log_formatter = logging.Formatter(formatter, datefmt='%Y-%m-%d %H:%M:%S')
# info日誌文件名
info_file_name = time.strftime("%Y-%m-%d") + '.log'
# 將其保存到特定目錄，ap方法就是尋找項目根目錄，該方法博主前期已經寫好。
case_dir = r'./logs/'
info_handler = TimedRotatingFileHandler(filename=case_dir + info_file_name,
when='MIDNIGHT',
interval=1,
backupCount=7,
encoding='utf-8')
日誌文件截圖：
以上。
三、轉載聲明
轉載已獲原作者 @馬哥python說 授權：
博客園原文鏈接：【GUI軟體】採集抖音博主的主頁視頻（可監控對標賬號最新作品）
持續分享Python乾貨中，歡迎交流開發技術！
