【爬蟲軟體】用Python開發的抖音評論區批量採集工具

来源:https://www.cnblogs.com/ws235/p/18210398
-Advertisement-
Play Games

一、背景說明 1.1 效果演示 用python開發的爬蟲採集軟體,可自動抓取抖音評論數據,並且含二級評論! 為什麼有了源碼還開發界面軟體呢?方便不懂編程代碼的小白用戶使用,無需安裝python、無需懂代碼,雙擊打開即用! 軟體界面截圖: 爬取結果截圖: 以上。 1.2 演示視頻 軟體運行演示視頻:見 ...


一、背景說明

1.1 效果演示

用python開發的爬蟲採集軟體,可自動抓取抖音評論數據,並且含二級評論!

為什麼有了源碼還開發界面軟體呢?方便不懂編程代碼的小白用戶使用,無需安裝python、無需懂代碼,雙擊打開即用!

軟體界面截圖:軟體運行界面

爬取結果截圖:結果截圖1

結果截圖2

結果截圖3

以上。

1.2 演示視頻

軟體運行演示視頻:見原文

1.3 軟體說明

幾點重要說明:軟體說明

二、代碼講解

2.1 爬蟲採集模塊

首先,定義介面地址作為請求地址:

# 請求地址
url = 'https://www.douyin.com/aweme/v1/web/comment/list/'

定義一個請求頭,用於偽造瀏覽器:

# 請求頭
h1 = {
	'accept': 'application/json, text/plain, */*',
	'accept-encoding': 'gzip, deflate, br',
	'accept-language': 'zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7',
	'cookie': '換成自己的cookie值',
	'referer': 'https://www.douyin.com/',
	'sec-ch-ua': '"Not_A Brand";v="99", "Google Chrome";v="109", "Chromium";v="109"',
	'sec-ch-ua-mobile': '?0',
	'sec-ch-ua-platform': '"macOS"',
	'sec-fetch-dest': 'empty',
	'sec-fetch-mode': 'cors',
	'sec-fetch-site': 'same-origin',
	'user-agent': ua,
}

其中,cookie是個關鍵參數,需要填寫到軟體界面里。cookie獲取方法如下:cookie獲取方法

加上請求參數,告訴程式你的爬取條件是什麼:

# 請求參數
params = {
	'device_platform': 'webapp',
	'aid': 6383,
	'channel': 'channel_pc_web',
	'aweme_id': video_id,  # 視頻id
	'cursor': page * 20,
	'count': 20,
	'item_type': 0,
	'insert_ids': '',
	'rcFT': '',
	'pc_client_type': 1,
	'version_code': '170400',
	'version_name': '17.4.0',
	'cookie_enabled': 'true',
	'screen_width': 1440,
	'screen_height': 900,
	'browser_language': 'zh-CN',
	'browser_platform': 'MacIntel',
	'browser_name': 'Chrome',
	'browser_version': '109.0.0.0',
	'browser_online': 'true',
	'engine_name': 'Blink',
	'engine_version': '109.0.0.0',
	'os_name': 'Mac OS',
	'os_version': '10.15.7',
	'cpu_core_num': 4,
	'device_memory': 8,
	'platform': 'PC',
	'downlink': 1.5,
	'effective_type': '4g',
	'round_trip_time': 150,
	'webid': 7184233910711879229,
	'msToken': 'LZ3nJ12qCwmFPM1NgmgYAz73RHVG_5ytxc_EMHr_3Mnc9CxfayXlm2kbvRaaisoAdLjRVPdLx5UDrc0snb5UDyQVRdGpd3qHgk64gLh6Tb6lR16WG7VHZQ==',
}

下麵就是發送請求和接收數據:

# 請求地址
url = 'https://www.douyin.com/aweme/v1/web/comment/list/'
# 發送請求
r = requests.get(url, headers=h1, params=params)
# 轉json格式
json_data = r.json()

定義一些空列表,用於存放解析後欄位數據:

ip_list = []  # ip屬地
text_list = []  # 評論內容
create_time_list = []  # 評論時間
user_name_list = []  # 評論者昵稱
user_url_list = []  # 評論者主頁鏈接
user_unique_id_list = []  # 評論者抖音號
like_count_list = []  # 點贊數
cmt_level_list = []  # 評論級別

迴圈解析欄位數據,以"評論內容"為例:

# 迴圈解析
for comment in comment_list:
	# 評論內容
	text = comment['text']
	text_list.append(text)

其他欄位同理,不再贅述。

最後,是把數據保存到csv文件:

# 保存數據到DF
df = pd.DataFrame(
	{
		'目標鏈接': 'https://www.douyin.com/video/' + str(video_id),
		'頁碼': page,
		'評論者昵稱': user_name_list,
		'評論者id': user_unique_id_list,
		'評論者主頁鏈接': user_url_list,
		'評論時間': create_time_list,
		'評論IP屬地': ip_list,
		'評論點贊數': like_count_list,
		'評論級別': cmt_level_list,
		'評論內容': text_list,
	}
)
# 保存到csv文件
if os.path.exists(result_file):  # 如果文件存在,不再設置表頭
	header = False
else:  # 否則,設置csv文件表頭
	header = True
df.to_csv(result_file, mode='a+', index=False, header=header, encoding='utf_8_sig')

完整代碼中,還含有:判斷迴圈結束條件、時間戳轉換、二級評論及二級展開評論的採集等關鍵實現邏輯,詳見文末。

2.2 軟體界面模塊

軟體界面採用tkinter開發。
主視窗部分:

# 創建日誌目錄
work_path = os.getcwd()
if not os.path.exists(work_path + "/logs"):
	os.makedirs(work_path + "/logs")
# 創建主視窗
root = tk.Tk()
root.title('抖音評論採集軟體 | 馬哥python說')
# 設置視窗大小
root.minsize(width=850, height=650)

填寫cookie控制項:

# 【填入Cookie】
tk.Label(root, justify='left', font=('微軟', 14), text='個人Cookie:').place(x=30, y=75)
entry_ck = tk.Text(root, bg='#ffffff', width=110, height=2, )
entry_ck.place(x=30, y=100, anchor='nw')  # 擺放位置

填寫視頻鏈接控制項:

# 【視頻鏈接】
tk.Label(root, justify='left', font=('微軟', 14), text='視頻鏈接:').place(x=30, y=145)
note_ids = tk.StringVar()
note_ids.set('')
entry_nt = tk.Text(root, bg='#ffffff', width=110, height=14, )
entry_nt.place(x=30, y=170, anchor='nw')  # 擺放位置

底部軟體版權說明:

# 版權信息
copyright = tk.Label(root, text='@馬哥python說 All rights reserved.', font=('仿宋', 10), fg='grey')
copyright.place(x=290, y=625)

以上。

2.3 日誌模塊

好的日誌功能,方便軟體運行出問題後快速定位原因,修複bug。

核心代碼:

def get_logger(self):
	self.logger = logging.getLogger(__name__)
	# 日誌格式
	formatter = '[%(asctime)s-%(filename)s][%(funcName)s-%(lineno)d]--%(message)s'
	# 日誌級別
	self.logger.setLevel(logging.DEBUG)
	# 控制台日誌
	sh = logging.StreamHandler()
	log_formatter = logging.Formatter(formatter, datefmt='%Y-%m-%d %H:%M:%S')
	# info日誌文件名
	info_file_name = time.strftime("%Y-%m-%d") + '.log'
	case_dir = r'./logs/'
	info_handler = TimedRotatingFileHandler(filename=case_dir + info_file_name,
											when='MIDNIGHT',
											interval=1,
											backupCount=7,
											encoding='utf-8')

日誌文件截圖:日誌文件截圖

三、轉載聲明

轉載已獲原作者 @馬哥python說授權:

博客園原文鏈接:【GUI界面軟體】抖音評論採集:自動採集10000多條,含二級評論、展開評論!

持續分享Python乾貨中,歡迎交流開發技術!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 當開發與Linux環境下MySQL資料庫交互的Java應用程式時,理解MySQL中的大小寫敏感性可以避免潛在的錯誤和問題。本指南深入探討了MySQL中的大小寫敏感設置,比較了5.7和8.0版本,併為Java開發者提供了最佳實踐。 1 理解MySQL中的大小寫敏感性 預設情況下,MySQL在Windo ...
  • 1. Spring6 對 集成MyBatis 開發運用(附有詳細的操作步驟) @目錄1. Spring6 對 集成MyBatis 開發運用(附有詳細的操作步驟)每博一文案2. 大概的實現步驟概述3. 詳細實現操作步驟4. Spring配置文件的 import,導入外部xml 配置5. 總結:6. 最 ...
  • 1 為啥要折騰搭建一個專屬圖床? 技術大佬寫博客都用 md 格式,要在多平臺發佈,圖片就得有外鏈 後續如博客遷移,國內博客網站如掘金,簡書,語雀等都做了防盜鏈,圖片無法遷移 2 為啥選擇CloudFlare R2 跳轉:https://dash.cloudflare.com/ 有白嫖額度 免費 CD ...
  • 實時識別關鍵詞是一種能夠將搜索結果提升至新的高度的API介面。它可以幫助我們更有效地分析文本,並提取出關鍵詞,以便進行進一步的處理和分析。 該介面是挖數據平臺提供的,有三種模式:精確模式、全模式和搜索引擎模式。不同的模式在分詞的方式上有所不同,適用於不同的場景。 首先是精確模式。這種模式會儘量將句子 ...
  • Java JUC&多線程 基礎完整版 目錄Java JUC&多線程 基礎完整版1、 多線程的第一種啟動方式之繼承Thread類2、多線程的第二種啟動方式之實現Runnable介面3、多線程的第三種實現方式之實現Callable介面4、多線的常用成員方法5、線程的優先順序6、守護線程7、線程的讓出8、線 ...
  • 本文介紹基於Python語言,遍歷文件夾並從中找到文件名稱符合我們需求的多個.txt格式文本文件,並從上述每一個文本文件中,找到我們需要的指定數據,最後得到所有文本文件中我們需要的數據的合集的方法~ ...
  • 作為後端工程師,多數情況都是給別人提供介面,寫的好不好使你得重視起來。 最近我手頭一些活,需要和外部公司對接,我們需要提供一個介面文檔,這樣可以節省雙方時間、也可以防止後續扯皮。這是就要考驗我的介面是否規範化。 1. 介面名稱清晰、明確 顧名思義,介面是做什麼的,是否準確、清晰?讓使用這一眼就能知道 ...
  • SpringBoot筆記 SpringBoot文檔 官網: https://spring.io/projects/spring-boot 學習文檔: https://docs.spring.io/spring-boot/docs/current/reference/html/ 線上API: http ...
一周排行
    -Advertisement-
    Play Games
  • PasteSpider是什麼? 一款使用.net編寫的開源的Linux容器部署助手,支持一鍵發佈,平滑升級,自動伸縮, Key-Value配置,項目網關,環境隔離,運行報表,差量升級,私有倉庫,集群部署,版本管理等! 30分鐘上手,讓開發也可以很容易的學會在linux上部署你得項目! [從需求角度介 ...
  • SQLSugar是什麼 **1. 輕量級ORM框架,專為.NET CORE開發人員設計,它提供了簡單、高效的方式來處理資料庫操作,使開發人員能夠更輕鬆地與資料庫進行交互 2. 簡化資料庫操作和數據訪問,允許開發人員在C#代碼中直接操作資料庫,而不需要編寫複雜的SQL語句 3. 支持多種資料庫,包括但 ...
  • 在C#中,經常會有一些耗時較長的CPU密集型運算,因為如果直接在UI線程執行這樣的運算就會出現UI不響應的問題。解決這類問題的主要途徑是使用多線程,啟動一個後臺線程,把運算操作放在這個後臺線程中完成。但是原生介面的線程操作有一些難度,如果要更進一步的去完成線程間的通訊就會難上加難。 因此,.NET類 ...
  • 一:背景 1. 講故事 前些天有位朋友在微信上丟了一個崩潰的dump給我,讓我幫忙看下為什麼出現了崩潰,在 Windows 的事件查看器上顯示的是經典的 訪問違例 ,即 c0000005 錯誤碼,不管怎麼說有dump就可以上windbg開幹了。 二:WinDbg 分析 1. 程式為誰崩潰了 在 Wi ...
  • CSharpe中的IO+NPOI+序列化 文件文件夾操作 學習一下常見的文件、文件夾的操作。 什麼是IO流? I:就是input O:就是output,故稱:輸入輸出流 將數據讀入記憶體或者記憶體輸出的過程。 常見的IO流操作,一般說的是[記憶體]與[磁碟]之間的輸入輸出。 作用 持久化數據,保證數據不再 ...
  • C#.NET與JAVA互通之MD5哈希V2024 配套視頻: 要點: 1.計算MD5時,SDK自帶的計算哈希(ComputeHash)方法,輸入輸出參數都是byte數組。就涉及到字元串轉byte數組轉換時,編碼選擇的問題。 2.輸入參數,字元串轉byte數組時,編碼雙方要統一,一般為:UTF-8。 ...
  • CodeWF.EventBus,一款靈活的事件匯流排庫,實現模塊間解耦通信。支持多種.NET項目類型,如WPF、WinForms、ASP.NET Core等。採用簡潔設計,輕鬆實現事件的發佈與訂閱。通過有序的消息處理,確保事件得到妥善處理。簡化您的代碼,提升系統可維護性。 ...
  • 一、基本的.NET框架概念 .NET框架是一個由微軟開發的軟體開發平臺,它提供了一個運行時環境(CLR - Common Language Runtime)和一套豐富的類庫(FCL - Framework Class Library)。CLR負責管理代碼的執行,而FCL則提供了大量預先編寫好的代碼, ...
  • 本章將和大家分享在ASP.NET Core中如何使用高級客戶端NEST來操作我們的Elasticsearch。 NEST是一個高級別的Elasticsearch .NET客戶端,它仍然非常接近原始Elasticsearch API的映射。所有的請求和響應都是通過類型來暴露的,這使得它非常適合快速上手 ...
  • 參考delphi的代碼更改為C# Delphi 檢測密碼強度 規則(仿 google) 仿 google 評分規則 一、密碼長度: 5 分: 小於等於 4 個字元 10 分: 5 到 7 字元 25 分: 大於等於 8 個字元 二、字母: 0 分: 沒有字母 10 分: 全都是小(大)寫字母 20 ...