【爬蟲軟體】用Python開發的抖音評論區批量採集工具

来源:https://www.cnblogs.com/ws235/p/18210398
-Advertisement-
Play Games

一、背景說明 1.1 效果演示 用python開發的爬蟲採集軟體,可自動抓取抖音評論數據,並且含二級評論! 為什麼有了源碼還開發界面軟體呢?方便不懂編程代碼的小白用戶使用,無需安裝python、無需懂代碼,雙擊打開即用! 軟體界面截圖: 爬取結果截圖: 以上。 1.2 演示視頻 軟體運行演示視頻:見 ...


一、背景說明

1.1 效果演示

用python開發的爬蟲採集軟體,可自動抓取抖音評論數據,並且含二級評論!

為什麼有了源碼還開發界面軟體呢?方便不懂編程代碼的小白用戶使用,無需安裝python、無需懂代碼,雙擊打開即用!

軟體界面截圖:軟體運行界面

爬取結果截圖:結果截圖1

結果截圖2

結果截圖3

以上。

1.2 演示視頻

軟體運行演示視頻:見原文

1.3 軟體說明

幾點重要說明:軟體說明

二、代碼講解

2.1 爬蟲採集模塊

首先,定義介面地址作為請求地址:

# 請求地址
url = 'https://www.douyin.com/aweme/v1/web/comment/list/'

定義一個請求頭,用於偽造瀏覽器:

# 請求頭
h1 = {
	'accept': 'application/json, text/plain, */*',
	'accept-encoding': 'gzip, deflate, br',
	'accept-language': 'zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7',
	'cookie': '換成自己的cookie值',
	'referer': 'https://www.douyin.com/',
	'sec-ch-ua': '"Not_A Brand";v="99", "Google Chrome";v="109", "Chromium";v="109"',
	'sec-ch-ua-mobile': '?0',
	'sec-ch-ua-platform': '"macOS"',
	'sec-fetch-dest': 'empty',
	'sec-fetch-mode': 'cors',
	'sec-fetch-site': 'same-origin',
	'user-agent': ua,
}

其中,cookie是個關鍵參數,需要填寫到軟體界面里。cookie獲取方法如下:cookie獲取方法

加上請求參數,告訴程式你的爬取條件是什麼:

# 請求參數
params = {
	'device_platform': 'webapp',
	'aid': 6383,
	'channel': 'channel_pc_web',
	'aweme_id': video_id,  # 視頻id
	'cursor': page * 20,
	'count': 20,
	'item_type': 0,
	'insert_ids': '',
	'rcFT': '',
	'pc_client_type': 1,
	'version_code': '170400',
	'version_name': '17.4.0',
	'cookie_enabled': 'true',
	'screen_width': 1440,
	'screen_height': 900,
	'browser_language': 'zh-CN',
	'browser_platform': 'MacIntel',
	'browser_name': 'Chrome',
	'browser_version': '109.0.0.0',
	'browser_online': 'true',
	'engine_name': 'Blink',
	'engine_version': '109.0.0.0',
	'os_name': 'Mac OS',
	'os_version': '10.15.7',
	'cpu_core_num': 4,
	'device_memory': 8,
	'platform': 'PC',
	'downlink': 1.5,
	'effective_type': '4g',
	'round_trip_time': 150,
	'webid': 7184233910711879229,
	'msToken': 'LZ3nJ12qCwmFPM1NgmgYAz73RHVG_5ytxc_EMHr_3Mnc9CxfayXlm2kbvRaaisoAdLjRVPdLx5UDrc0snb5UDyQVRdGpd3qHgk64gLh6Tb6lR16WG7VHZQ==',
}

下麵就是發送請求和接收數據:

# 請求地址
url = 'https://www.douyin.com/aweme/v1/web/comment/list/'
# 發送請求
r = requests.get(url, headers=h1, params=params)
# 轉json格式
json_data = r.json()

定義一些空列表,用於存放解析後欄位數據:

ip_list = []  # ip屬地
text_list = []  # 評論內容
create_time_list = []  # 評論時間
user_name_list = []  # 評論者昵稱
user_url_list = []  # 評論者主頁鏈接
user_unique_id_list = []  # 評論者抖音號
like_count_list = []  # 點贊數
cmt_level_list = []  # 評論級別

迴圈解析欄位數據,以"評論內容"為例:

# 迴圈解析
for comment in comment_list:
	# 評論內容
	text = comment['text']
	text_list.append(text)

其他欄位同理,不再贅述。

最後,是把數據保存到csv文件:

# 保存數據到DF
df = pd.DataFrame(
	{
		'目標鏈接': 'https://www.douyin.com/video/' + str(video_id),
		'頁碼': page,
		'評論者昵稱': user_name_list,
		'評論者id': user_unique_id_list,
		'評論者主頁鏈接': user_url_list,
		'評論時間': create_time_list,
		'評論IP屬地': ip_list,
		'評論點贊數': like_count_list,
		'評論級別': cmt_level_list,
		'評論內容': text_list,
	}
)
# 保存到csv文件
if os.path.exists(result_file):  # 如果文件存在,不再設置表頭
	header = False
else:  # 否則,設置csv文件表頭
	header = True
df.to_csv(result_file, mode='a+', index=False, header=header, encoding='utf_8_sig')

完整代碼中,還含有:判斷迴圈結束條件、時間戳轉換、二級評論及二級展開評論的採集等關鍵實現邏輯,詳見文末。

2.2 軟體界面模塊

軟體界面採用tkinter開發。
主視窗部分:

# 創建日誌目錄
work_path = os.getcwd()
if not os.path.exists(work_path + "/logs"):
	os.makedirs(work_path + "/logs")
# 創建主視窗
root = tk.Tk()
root.title('抖音評論採集軟體 | 馬哥python說')
# 設置視窗大小
root.minsize(width=850, height=650)

填寫cookie控制項:

# 【填入Cookie】
tk.Label(root, justify='left', font=('微軟', 14), text='個人Cookie:').place(x=30, y=75)
entry_ck = tk.Text(root, bg='#ffffff', width=110, height=2, )
entry_ck.place(x=30, y=100, anchor='nw')  # 擺放位置

填寫視頻鏈接控制項:

# 【視頻鏈接】
tk.Label(root, justify='left', font=('微軟', 14), text='視頻鏈接:').place(x=30, y=145)
note_ids = tk.StringVar()
note_ids.set('')
entry_nt = tk.Text(root, bg='#ffffff', width=110, height=14, )
entry_nt.place(x=30, y=170, anchor='nw')  # 擺放位置

底部軟體版權說明:

# 版權信息
copyright = tk.Label(root, text='@馬哥python說 All rights reserved.', font=('仿宋', 10), fg='grey')
copyright.place(x=290, y=625)

以上。

2.3 日誌模塊

好的日誌功能,方便軟體運行出問題後快速定位原因,修複bug。

核心代碼:

def get_logger(self):
	self.logger = logging.getLogger(__name__)
	# 日誌格式
	formatter = '[%(asctime)s-%(filename)s][%(funcName)s-%(lineno)d]--%(message)s'
	# 日誌級別
	self.logger.setLevel(logging.DEBUG)
	# 控制台日誌
	sh = logging.StreamHandler()
	log_formatter = logging.Formatter(formatter, datefmt='%Y-%m-%d %H:%M:%S')
	# info日誌文件名
	info_file_name = time.strftime("%Y-%m-%d") + '.log'
	case_dir = r'./logs/'
	info_handler = TimedRotatingFileHandler(filename=case_dir + info_file_name,
											when='MIDNIGHT',
											interval=1,
											backupCount=7,
											encoding='utf-8')

日誌文件截圖:日誌文件截圖

三、轉載聲明

轉載已獲原作者 @馬哥python說授權:

博客園原文鏈接:【GUI界面軟體】抖音評論採集:自動採集10000多條,含二級評論、展開評論!

持續分享Python乾貨中,歡迎交流開發技術!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 當開發與Linux環境下MySQL資料庫交互的Java應用程式時,理解MySQL中的大小寫敏感性可以避免潛在的錯誤和問題。本指南深入探討了MySQL中的大小寫敏感設置,比較了5.7和8.0版本,併為Java開發者提供了最佳實踐。 1 理解MySQL中的大小寫敏感性 預設情況下,MySQL在Windo ...
  • 1. Spring6 對 集成MyBatis 開發運用(附有詳細的操作步驟) @目錄1. Spring6 對 集成MyBatis 開發運用(附有詳細的操作步驟)每博一文案2. 大概的實現步驟概述3. 詳細實現操作步驟4. Spring配置文件的 import,導入外部xml 配置5. 總結:6. 最 ...
  • 1 為啥要折騰搭建一個專屬圖床? 技術大佬寫博客都用 md 格式,要在多平臺發佈,圖片就得有外鏈 後續如博客遷移,國內博客網站如掘金,簡書,語雀等都做了防盜鏈,圖片無法遷移 2 為啥選擇CloudFlare R2 跳轉:https://dash.cloudflare.com/ 有白嫖額度 免費 CD ...
  • 實時識別關鍵詞是一種能夠將搜索結果提升至新的高度的API介面。它可以幫助我們更有效地分析文本,並提取出關鍵詞,以便進行進一步的處理和分析。 該介面是挖數據平臺提供的,有三種模式:精確模式、全模式和搜索引擎模式。不同的模式在分詞的方式上有所不同,適用於不同的場景。 首先是精確模式。這種模式會儘量將句子 ...
  • Java JUC&多線程 基礎完整版 目錄Java JUC&多線程 基礎完整版1、 多線程的第一種啟動方式之繼承Thread類2、多線程的第二種啟動方式之實現Runnable介面3、多線程的第三種實現方式之實現Callable介面4、多線的常用成員方法5、線程的優先順序6、守護線程7、線程的讓出8、線 ...
  • 本文介紹基於Python語言,遍歷文件夾並從中找到文件名稱符合我們需求的多個.txt格式文本文件,並從上述每一個文本文件中,找到我們需要的指定數據,最後得到所有文本文件中我們需要的數據的合集的方法~ ...
  • 作為後端工程師,多數情況都是給別人提供介面,寫的好不好使你得重視起來。 最近我手頭一些活,需要和外部公司對接,我們需要提供一個介面文檔,這樣可以節省雙方時間、也可以防止後續扯皮。這是就要考驗我的介面是否規範化。 1. 介面名稱清晰、明確 顧名思義,介面是做什麼的,是否準確、清晰?讓使用這一眼就能知道 ...
  • SpringBoot筆記 SpringBoot文檔 官網: https://spring.io/projects/spring-boot 學習文檔: https://docs.spring.io/spring-boot/docs/current/reference/html/ 線上API: http ...
一周排行
    -Advertisement-
    Play Games
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他們的程式會偶發性的卡死一段時間,然後又好了,讓我幫忙看下怎麼回事?窗體類的程式解決起來相對來說比較簡單,讓朋友用procdump自動抓一個卡死時的dump,拿到dump之後,上 windbg 說話。 二:WinDbg 分析 1. 主線程在做什麼 要想 ...
  • 功能說明 使用ListView時,希望可以在單元格顯示圖片或其他控制項,發現原生的ListView不支持,於是通過拓展,實現ListView可以顯示任意控制項的功能,效果如下: 實現方法 本來想著在單元格裡面實現控制項的自繪的,但是沒找到辦法,最後是通過在單元格的錶面顯示對應控制項的,浮於錶面達到目的。 實 ...
  • 由於.NET Framework 4.0 是比較古老的版本,只有New Relic 7.0以下的版本才會支持.NET Framework 4.0的引用程式。 Technical support for .NET Framework 4.0 or lower 你可以參考這個官方Install New ...
  • 前言 隨著 DEV24.1.3 的發佈,XAF Blazor 中的屬性編輯器(PropertyEditor)也進行了很大的改動,在使用體驗上也更接近 WinForm 了,由於進行了大量的封裝,理解上沒有 WinForm 直觀,所以本文通過對屬性編輯器的原理進行解析,並對比新舊版本中的變化,使大家能夠 ...
  • OPC基金會提供了OPC UA .NET標準庫以及示常式序,但官方文檔過於簡單,光看官方文檔和示常式序很難弄懂OPC UA .NET標準庫怎麼用,花了不少時間摸索才略微弄懂如何使用,以下記錄如何從一個控制台程式開發一個OPC UA伺服器。 安裝Nuget包 安裝OPCFoundation.NetSt ...
  • 今天在技術群里,石頭哥向大家提了個問題:"如何在一個以System身份運行的.NET程式(Windows Services)中,以其它活動的用戶身份啟動可互動式進程(桌面應用程式、控制台程式、等帶有UI和互動式體驗的程式)"? 我以前有過類似的需求,是在GitLab流水線中運行帶有UI的自動化測試程 ...
  • .Net 中提供了一系列的管理對象集合的類型,數組、可變列表、字典等。從類型安全上集合分為兩類,泛型集合 和 非泛型集合,傳統的非泛型集合存儲為Object,需要類型轉。而泛型集合提供了更好的性能、編譯時類型安全,推薦使用。 ...
  • 在以前我做程式的時候,一般在登錄視窗裡面顯示程式名稱,登錄視窗一般設置一張背景圖片,由於程式的名稱一般都是確定的,所以也不存在太大的問題,不過如果客戶定製不同的系統的時候,需要使用Photoshop修改下圖層的文字,再生成圖片,然後替換一下也可以了。不過本著減少客戶使用繁瑣性,也可以使用空白名稱的通... ...
  • 一:背景 1. 講故事 在dump分析的過程中經常會看到很多線程卡在Monitor.Wait方法上,曾經也有不少人問我為什麼用 !syncblk 看不到 Monitor.Wait 上的鎖信息,剛好昨天有時間我就來研究一下。 二:Monitor.Wait 底層怎麼玩的 1. 案例演示 為了方便講述,先 ...
  • 目錄前言學習參考過程總結: 前言 做個自由仔。 學習參考 ChatGpt; https://www.cnblogs.com/zhili/p/DesignPatternSummery.html(大佬的,看了好多次) 過程 原由: 一開始只是想查查鏈式調用原理,以為是要繼承什麼介面,實現什麼方法才可以實 ...