一、背景說明

1.1 效果演示

用python開發的爬蟲採集軟體，可自動抓取抖音評論數據，並且含二級評論！

為什麼有了源碼還開發界面軟體呢？方便不懂編程代碼的小白用戶使用，無需安裝python、無需懂代碼，雙擊打開即用！

軟體界面截圖：

爬取結果截圖：

以上。

1.2 演示視頻

軟體運行演示視頻：見原文

1.3 軟體說明

幾點重要說明：

二、代碼講解

2.1 爬蟲採集模塊

首先，定義介面地址作為請求地址：

# 請求地址
url = 'https://www.douyin.com/aweme/v1/web/comment/list/'

定義一個請求頭，用於偽造瀏覽器：

# 請求頭
h1 = {
	'accept': 'application/json, text/plain, */*',
	'accept-encoding': 'gzip, deflate, br',
	'accept-language': 'zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7',
	'cookie': '換成自己的cookie值',
	'referer': 'https://www.douyin.com/',
	'sec-ch-ua': '"Not_A Brand";v="99", "Google Chrome";v="109", "Chromium";v="109"',
	'sec-ch-ua-mobile': '?0',
	'sec-ch-ua-platform': '"macOS"',
	'sec-fetch-dest': 'empty',
	'sec-fetch-mode': 'cors',
	'sec-fetch-site': 'same-origin',
	'user-agent': ua,
}

其中，cookie是個關鍵參數，需要填寫到軟體界面里。cookie獲取方法如下：

加上請求參數，告訴程式你的爬取條件是什麼：

# 請求參數
params = {
	'device_platform': 'webapp',
	'aid': 6383,
	'channel': 'channel_pc_web',
	'aweme_id': video_id,  # 視頻id
	'cursor': page * 20,
	'count': 20,
	'item_type': 0,
	'insert_ids': '',
	'rcFT': '',
	'pc_client_type': 1,
	'version_code': '170400',
	'version_name': '17.4.0',
	'cookie_enabled': 'true',
	'screen_width': 1440,
	'screen_height': 900,
	'browser_language': 'zh-CN',
	'browser_platform': 'MacIntel',
	'browser_name': 'Chrome',
	'browser_version': '109.0.0.0',
	'browser_online': 'true',
	'engine_name': 'Blink',
	'engine_version': '109.0.0.0',
	'os_name': 'Mac OS',
	'os_version': '10.15.7',
	'cpu_core_num': 4,
	'device_memory': 8,
	'platform': 'PC',
	'downlink': 1.5,
	'effective_type': '4g',
	'round_trip_time': 150,
	'webid': 7184233910711879229,
	'msToken': 'LZ3nJ12qCwmFPM1NgmgYAz73RHVG_5ytxc_EMHr_3Mnc9CxfayXlm2kbvRaaisoAdLjRVPdLx5UDrc0snb5UDyQVRdGpd3qHgk64gLh6Tb6lR16WG7VHZQ==',
}

下麵就是發送請求和接收數據：

# 請求地址
url = 'https://www.douyin.com/aweme/v1/web/comment/list/'
# 發送請求
r = requests.get(url, headers=h1, params=params)
# 轉json格式
json_data = r.json()

定義一些空列表，用於存放解析後欄位數據：

ip_list = []  # ip屬地
text_list = []  # 評論內容
create_time_list = []  # 評論時間
user_name_list = []  # 評論者昵稱
user_url_list = []  # 評論者主頁鏈接
user_unique_id_list = []  # 評論者抖音號
like_count_list = []  # 點贊數
cmt_level_list = []  # 評論級別

迴圈解析欄位數據，以"評論內容"為例：

# 迴圈解析
for comment in comment_list:
	# 評論內容
	text = comment['text']
	text_list.append(text)

其他欄位同理，不再贅述。

最後，是把數據保存到csv文件：

# 保存數據到DF
df = pd.DataFrame(
	{
		'目標鏈接': 'https://www.douyin.com/video/' + str(video_id),
		'頁碼': page,
		'評論者昵稱': user_name_list,
		'評論者id': user_unique_id_list,
		'評論者主頁鏈接': user_url_list,
		'評論時間': create_time_list,
		'評論IP屬地': ip_list,
		'評論點贊數': like_count_list,
		'評論級別': cmt_level_list,
		'評論內容': text_list,
	}
)
# 保存到csv文件
if os.path.exists(result_file):  # 如果文件存在，不再設置表頭
	header = False
else:  # 否則，設置csv文件表頭
	header = True
df.to_csv(result_file, mode='a+', index=False, header=header, encoding='utf_8_sig')

完整代碼中，還含有：判斷迴圈結束條件、時間戳轉換、二級評論及二級展開評論的採集等關鍵實現邏輯，詳見文末。

2.2 軟體界面模塊

軟體界面採用tkinter開發。
主視窗部分：

# 創建日誌目錄
work_path = os.getcwd()
if not os.path.exists(work_path + "/logs"):
	os.makedirs(work_path + "/logs")
# 創建主視窗
root = tk.Tk()
root.title('抖音評論採集軟體 | 馬哥python說')
# 設置視窗大小
root.minsize(width=850, height=650)

填寫cookie控制項：

# 【填入Cookie】
tk.Label(root, justify='left', font=('微軟', 14), text='個人Cookie:').place(x=30, y=75)
entry_ck = tk.Text(root, bg='#ffffff', width=110, height=2, )
entry_ck.place(x=30, y=100, anchor='nw')  # 擺放位置

填寫視頻鏈接控制項：

# 【視頻鏈接】
tk.Label(root, justify='left', font=('微軟', 14), text='視頻鏈接:').place(x=30, y=145)
note_ids = tk.StringVar()
note_ids.set('')
entry_nt = tk.Text(root, bg='#ffffff', width=110, height=14, )
entry_nt.place(x=30, y=170, anchor='nw')  # 擺放位置

底部軟體版權說明：

# 版權信息
copyright = tk.Label(root, text='@馬哥python說 All rights reserved.', font=('仿宋', 10), fg='grey')
copyright.place(x=290, y=625)

以上。

2.3 日誌模塊

好的日誌功能，方便軟體運行出問題後快速定位原因，修複bug。

核心代碼：

def get_logger(self):
	self.logger = logging.getLogger(__name__)
	# 日誌格式
	formatter = '[%(asctime)s-%(filename)s][%(funcName)s-%(lineno)d]--%(message)s'
	# 日誌級別
	self.logger.setLevel(logging.DEBUG)
	# 控制台日誌
	sh = logging.StreamHandler()
	log_formatter = logging.Formatter(formatter, datefmt='%Y-%m-%d %H:%M:%S')
	# info日誌文件名
	info_file_name = time.strftime("%Y-%m-%d") + '.log'
	case_dir = r'./logs/'
	info_handler = TimedRotatingFileHandler(filename=case_dir + info_file_name,
											when='MIDNIGHT',
											interval=1,
											backupCount=7,
											encoding='utf-8')

日誌文件截圖：

三、轉載聲明

轉載已獲原作者 @馬哥python說授權：

博客園原文鏈接：【GUI界面軟體】抖音評論採集：自動採集10000多條，含二級評論、展開評論！

持續分享Python乾貨中，歡迎交流開發技術！