分散式爬蟲

来源:https://www.cnblogs.com/cqzlei/archive/2022/09/27/16736318.html
-Advertisement-
Play Games

###一、簡介 什麼是分散式爬蟲? 分散式爬蟲就是把一個爬蟲任務放到多台機器上去運行,提高爬取效率 但是每台機器運行同一套代碼,都在各自的任務和去重隊列,等於各爬各的,最終爬的數據是相同的 因此需要提供一個公共的去重隊列和公共的任務隊列,多台機器都在共用的隊列中去調度和去重,然後分別爬取 原來scr ...


一、簡介

什麼是分散式爬蟲?
分散式爬蟲就是把一個爬蟲任務放到多台機器上去運行,提高爬取效率
但是每台機器運行同一套代碼,都在各自的任務和去重隊列,等於各爬各的,最終爬的數據是相同的
因此需要提供一個公共的去重隊列和公共的任務隊列,多台機器都在共用的隊列中去調度和去重,然後分別爬取

原來scrapy的Scheduler維護的是本機的任務隊列(存放Request對象及其回調函數等信息)+本機的去重隊列(存放訪問過的url地址)

實現分散式的關鍵就是三點:
1、共用隊列
2、重寫Scheduler(調度器),讓其無論去重還是任務都訪問共用隊列
3、為Scheduler定製去重規則(利用redis的集合類型)
以上三點便是scrapy-redis組件的核心功能

二、scrapy-redis實現分散式爬蟲

1 scrapy-redis架構

scrapy-redis整體運行流程如下:核心就是把Scheduler(調度器)放到redis當中去

源碼位置

2 scrapy-redis共用隊列

3 使用scrapy-redis組件

1 pip3 install scrapy-redis 安裝

2 原來繼承Spider,現在繼承RedisSpider
源碼spiders.py中,RedisSpider(RedisMixin, Spider)類,繼承了原來的Spider,並繼承了擴展類RedisMixin

3 不能寫start_urls = ['https:/www.cnblogs.com/']  
需要寫redis_key = 'myspider:start_urls'  統一管理起始的爬取地址,redis的name對應的是一個列表
放一個起始url,啟動爬蟲後,返回來的url也是丟到這個列表中,每台機器都是從這個列表中取地址爬取,共用一個隊列

class ChoutiSpider(RedisSpider):
    name = 'cnblog'
    allowed_domains = ['cnblogs.com']
    redis_key = 'myspider:start_urls'

4 setting中配置

redis連接
# redis的連接, 預設配置本地+6379
REDIS_HOST = 'localhost'     # 主機名
REDIS_PORT = 6379            # 埠
REDIS_USER =                 # 用戶名
REDIS_PASSWORD =             # 密碼
REDIS_URL = 'redis://user:pass@hostname:port'       # 支持直接鏈接
REDIS_PARAMS  = {}                                  # Redis連接參數
REDIS_PARAMS['redis_cls'] = 'myproject.RedisClient' # 指定連接Redis的Python模塊
REDIS_ENCODING = "utf-8"                            # redis編碼類型 
REDIS_ITEMS_KEY = '%(spider)s:items'                # 將item持久化到redis時,指定的name
REDIS_ITEMS_SERIALIZER = 'json.dumps'               # 將item持久化到redis時,指定序列化函數
重點配置
1、DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"   # 使用scrapy-redis的去重
   源碼dupefilter.py中,RFPDupeFilter類重寫了request_seen()方法
    def request_seen(self, request):
        fp = self.request_fingerprint(request)
        # self.server是redis連接,sadd表示向集合中add數據
        added = self.server.sadd(self.key, fp)
        return added == 0


2、SCHEDULER = "scrapy_redis.scheduler.Scheduler"    # 使用scrapy-redis的Scheduler, 分散式爬蟲的配置

3、持久化配置,配了都走公共的,存在redis中,如果不配,各自存各自的庫,當然Mysql也是共用的一個庫
ITEM_PIPELINES = {'scrapy_redis.pipelines.RedisPipeline': 299} 

源碼pipelines.py中,RedisPipeline類,_process_item()方法,就是把item對象轉成pickle,再存入redis
    def _process_item(self, item, spider):
        key = self.item_key(item, spider)
        data = self.serialize(item)
        self.server.rpush(key, data)
        return item
其他配置
# 調度器將不重覆的任務用pickle序列化後放入共用任務隊列,預設使用優先順序隊列,其他PriorityQueue(有序集合),FifoQueue(列表)、LifoQueue(列表)               
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue' 

# 對保存到redis中的request對象進行序列化,預設使用pickle
SCHEDULER_SERIALIZER = "scrapy_redis.picklecompat"   

# 調度器中請求任務序列化後存放在redis中的name             
SCHEDULER_QUEUE_KEY = '%(spider)s:requests' 

# 去重隊列(用的指紋去重,放在集合中),在redis中保存時對應的name                        
SCHEDULER_DUPEFILTER_KEY = '%(spider)s:dupefilter'

# 去調度器中獲取數據時,如果為空,最多等待時間(最後沒數據,未獲取到)。如果沒有則立刻返回會造成空迴圈次數過多,cpu占用率飆升                                
SCHEDULER_IDLE_BEFORE_CLOSE = 10           

# 是否在關閉時候保留原來的調度器和去重記錄,True=保留,False=清空                     
SCHEDULER_PERSIST = True       

# 是否在開始之前清空 調度器和去重記錄,True=清空,False=不清空                                     
SCHEDULER_FLUSH_ON_START = False    

5 啟動scrapy-redis

分散式爬蟲部署在三台機器上,等於每台機器啟一個爬蟲進程,跟在一臺機器上啟動3個進程本質上一樣的
1 進程啟動爬蟲,啟動後要等待從redis中拿出起始url
scrapy crawl cnblog_redis

現在要讓爬蟲運行起來,需要去redis中以myspider:start_urls為key,插入一個起始地址
cmd命令視窗輸入:
2 redis-cil  # 啟動redis
3 lpush myspider:start_urls https://www.cnblogs.com/   # 插入起始地址

···

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 模塊 HTML 網頁中,瀏覽器通過<script>標簽載入 JavaScript 腳本。 <!-- 頁面內嵌的腳本 --> <script type="application/javascript"> // module code </script> <!-- 外部腳本 --> <script ty ...
  • 命令模式(Command Pattern)是一種數據驅動的設計模式,它屬於行為型模式。請求以命令的形式包裹在對象中,並傳給調用對象。調用對象尋找可以處理該命令的合適的對象,並把該命令傳給相應的對象,該對象執行命令。 ...
  • 橋接模式是一種在日常開發中不是特別常用的設計模式,主要是因為上手難度較大,但是對於理解面向對象設計有非常大的幫助。 ...
  • 在項目編碼中經常會遇到一些新的需求試圖復用已有的功能邏輯進行實現的場景,但是已有的邏輯又不能完全滿足新需求的要求,所以就會出現各種生搬硬套的操作。本篇文檔就一起來聊一聊如何藉助Adapter實現高效復用已有邏輯、讓代碼復用起來更加的得體與優雅。 ...
  • 【1】前言 本篇幅是對 線程池底層原理詳解與源碼分析 的補充,預設你已經看完了上一篇對ThreadPoolExecutor類有了足夠的瞭解。 【2】ScheduledThreadPoolExecutor的介紹 1.ScheduledThreadPoolExecutor繼承自ThreadPoolExe ...
  • 概述 tomcat亂碼問題相信大家肯定都遇見過,本篇將詳細介紹有關Tomcat的各種亂碼問題原因和解決方法😊 原因 首先亂碼問題的原因通俗的講就是讀的編碼格式和寫的解碼格式不一致,比如最常見的兩種中文編碼UTF-8和GBK,UTF-8一個漢字占三個位元組,GBK一個漢字占兩個位元組,所以當編碼與解碼格 ...
  • 簡述 類型:結構型 目的:將對象集合組合成樹形結構,使客戶端可以以一致的方式處理單個對象(葉子節點)和組合對象(根節點) 話不多說,上優化案例。 優化案例 最初版v0 不使用組合模式。 現有一個文件和目錄的管理模塊。如樣例。 public class File { // 文件類 private St ...
  • 探索密碼學的奇妙之旅。介紹HMAC單向散列消息認證碼、加鹽。使用golang crypto包實現HMAC生成與驗證,重放攻擊演示。 ...
一周排行
    -Advertisement-
    Play Games
  • 隨著Aspire發佈preview5的發佈,Microsoft.Extensions.ServiceDiscovery隨之更新, 服務註冊發現這個屬於老掉牙的話題解決什麼問題就不贅述了,這裡主要講講Microsoft.Extensions.ServiceDiscovery(preview5)以及如何 ...
  • 概述:通過使用`SemaphoreSlim`,可以簡單而有效地限制非同步HTTP請求的併發量,確保在任何給定時間內不超過20個網頁同時下載。`ParallelOptions`不適用於非同步操作,但可考慮使用`Parallel.ForEach`,儘管在非同步場景中謹慎使用。 對於併發非同步 I/O 操作的數量 ...
  • 1.Linux上安裝Docken 伺服器系統版本以及內核版本:cat /etc/redhat-release 查看伺服器內核版本:uname -r 安裝依賴包:yum install -y yum-utils device-mapper-persistent-data lvm2 設置阿裡雲鏡像源:y ...
  • 概述:WPF界面綁定和渲染大量數據可能導致性能問題。通過啟用UI虛擬化、非同步載入和數據分頁,可以有效提高界面響應性能。以下是簡單示例演示這些優化方法。 在WPF中,當你嘗試綁定和渲染大量的數據項時,性能問題可能出現。以下是一些可能導致性能慢的原因以及優化方法: UI 虛擬化: WPF提供了虛擬化技術 ...
  • 引言 上一章節介紹了 TDD 的三大法則,今天我們講一下在單元測試中模擬對象的使用。 Fake Fake - Fake 是一個通用術語,可用於描述 stub或 mock 對象。 它是 stub 還是 mock 取決於使用它的上下文。 也就是說,Fake 可以是 stub 或 mock Mock - ...
  • 為.net6在CentOS7上面做準備,先在vmware虛擬機安裝CentOS 7.9 新建CentOS764位的系統 因為CentOS8不更新了,所以安裝7;簡單就一筆帶過了 選擇下載好的操作系統的iso文件,下載地址https://mirrors.aliyun.com/centos/7.9.20 ...
  • 經過前面幾篇的學習,我們瞭解到指令的大概分類,如:參數載入指令,該載入指令以 Ld 開頭,將參數載入到棧中,以便於後續執行操作命令。參數存儲指令,其指令以 St 開頭,將棧中的數據,存儲到指定的變數中,以方便後續使用。創建實例指令,其指令以 New 開頭,用於在運行時動態生成並初始化對象。方法調用指... ...
  • LiteDB 是一個輕量級的嵌入式 NoSQL 資料庫,其設計理念與 MongoDB 類似,但它是完全使用 C# 開發的,因此與 C# 應用程式的集成非常順暢。與 SQLite 相比,LiteDB 提供了 NoSQL(即鍵值對)的數據存儲方式,並且是一個開源且免費的項目。它適用於桌面、移動以及 We ...
  • 1 開源解析和拆分文檔 第三方的工具去對文件解析拆分,去將我們的文件內容給提取出來,並將我們的文檔內容去拆分成一個小的chunk。常見的PDF word mark down, JSON、HTML。都可以有很好的一些模塊去把這些文件去進行一個東西去提取。 優勢 支持豐富的文檔類型 每種文檔多樣化選擇 ...
  • OOM是什麼?英文全稱為 OutOfMemoryError(記憶體溢出錯誤)。當程式發生OOM時,如何去定位導致異常的代碼還是挺麻煩的。 要檢查OOM發生的原因,首先需要瞭解各種OOM情況下會報的異常信息。這樣能縮小排查範圍,再結合異常堆棧、heapDump文件、JVM分析工具和業務代碼來判斷具體是哪 ...