爬蟲入門之反反爬蟲機制cookie UA與中間件(十三)

来源:https://www.cnblogs.com/why957/archive/2018/07/09/9282200.html
-Advertisement-
Play Games

1. 通常防止爬蟲被反主要有以下幾個策略 (1)動態設置User Agent(隨機切換User Agent,模擬不同的瀏覽器) 方法1: 修改setting.py中的User Agent 方法2: 修改setting中的 DEFAULT_REQUEST_HEADERS 方法3 : 在代碼中修改 (2 ...


1. 通常防止爬蟲被反主要有以下幾個策略

(1)動態設置User-Agent(隨機切換User-Agent,模擬不同的瀏覽器)

方法1: 修改setting.py中的User-Agent

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Hello World'  #User-Agent

方法2: 修改setting中的 DEFAULT_REQUEST_HEADERS

# Override the default request headers:
 DEFAULT_REQUEST_HEADERS = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en',
    'User-Agent':'Hello World'
 }

方法3 : 在代碼中修改

class HeadervalidationSpider(scrapy.Spider):
    name = 'headervalidation'
    allowed_domains = ['helloacm.com']
    
    def start_requests(self):
        header={'User-Agent':'Hello World'}
        yield scrapy.Request(url='http://helloacm.com/api/user-agent/',headers=header,callback=self.parse)

    def parse(self, response):
        print ('*'*20)
        print response.body
(2)禁用Cookies

就是不啟用cookies middleware,不向Server發送cookies,有些網站通過cookie的使用發現爬蟲行為

  1. 可以通過settings.py中的COOKIES_ENABLED , 控制 CookiesMiddleware 開啟或關閉

  2. 設置延遲下載(防止訪問過於頻繁,設置為 2秒 或更高)DOWNLOAD_DELAY

  3. Google Cache 和 Baidu Cache:如果可能的話,使用谷歌/百度等搜索引擎伺服器頁面緩存獲取頁面數據。

  4. 使用IP地址池:VPN和代理IP,現在大部分網站都是根據IP來ban的

  5. 使用Crawlera(專用於爬蟲的代理組件),正確配置和設置下載中間件後,項目所有的request都是通過crawlera發出。在settings中打開下載中間件

    DOWNLOADER_MIDDLEWARES = {
          'scrapy_crawlera.CrawleraMiddleware': 600
    }
    CRAWLERA_ENABLED = True
    CRAWLERA_USER = '註冊/購買的UserKey'
    CRAWLERA_PASS = '註冊/購買的Password'

2.設置下載中間件(Downloader Middlewares)

下載中間件是處於引擎(crawler.engine)和下載器(crawler.engine.download())之間的一層組件,可以有多個下載中間件被載入運行。

  1. 當引擎傳遞請求給下載器過程中,下載中間件可以對請求進行處理 (增加http header信息 proxy信息等);
  2. 在下載器完成http請求,傳遞響應給引擎過程中,下載中間件可以對響應進行處理(例如進行gzip的解壓等)

要激活下載器中間件組件,將其加入到 DOWNLOADER_MIDDLEWARES 設置中。 該設置是一個字典(dict),鍵為中間件類的路徑,值為其中間件的順序(order)。

#開放下載中間件
DOWNLOADER_MIDDLEWARES = {
    'mySpider.middlewares.MyDownloaderMiddleware': 543,
}

一般下載中間件可以定義一下一個或多個方法:

process_request(self, request, spider)
  • 當每個request通過下載中間件時,該方法被調用。
  • process_request() 返回其中之一:None 、 Response 對象、 Request 對象或 raise IgnoreRequest:
    • 如果其返回 None ,Scrapy將繼續處理該request,執行其他的中間件的相應方法,直到合適的下載器處理函數(download handler)被調用, 該request被執行(其response被下載)。
    • 如果返回 Response 對象,Scrapy將不會調用 任何 其他的 process_request() 或 process_exception() 方法。 已安裝的中間件的 process_response() 方法則會在每個response返回時被調用。
    • 如果其返回 Request 對象,Scrapy則停止調用 process_request方法並重新調度返回的request。當新返回的request被執行後, 相應地中間件鏈將會根據下載的response被調用。
    • 如果其raise一個 IgnoreRequest 異常,則安裝的下載中間件的 process_exception() 方法會被調用。如果沒有任何一個方法處理該異常, 則request的errback(Request.errback)方法會被調用。如果沒有代碼處理拋出的異常, 則該異常被忽略且不記錄(不同於其他異常那樣)。
  • 參數:
    • request (Request 對象) – 處理的request
    • spider (Spider 對象) – 該request對應的spider

process_response(self, request, response, spider)

當下載器完成http請求,傳遞響應給引擎的時候調用

  • process_response() 必須返回以下其中之一: 返回一個 Response 對象、 返回一個 Request 對象或raise一個 IgnoreRequest 異常。
    • 如果其返回一個 Response (可以與傳入的response相同,也可以是全新的對象), 該response會被在鏈中的其他中間件的 process_response() 方法處理。
    • 如果其返回一個 Request 對象,則中間件鏈停止, 返回的request會被重新調度下載。處理類似於 process_request() 返回request所做的那樣。
    • 如果其拋出一個 IgnoreRequest 異常,則調用request的errback(Request.errback)。 如果沒有代碼處理拋出的異常,則該異常被忽略且不記錄(不同於其他異常那樣)。
  • 參數:
    • request (Request 對象) – response所對應的request
    • response (Response 對象) – 被處理的response
    • spider (Spider 對象) – response所對應的spider

3 案例

  1. 創建middlewares.py文件

    Scrapy代理IP、Uesr-Agent的切換都是通過DOWNLOADER_MIDDLEWARES進行控制,我們在settings.py同級目錄下創建middlewares.py文件,包裝所有請求。

# middlewares.py

import random
from settings import USER_AGENTS
from settings import PROXIES

# 隨機的User-Agent
class RandomUserAgent(object):
    def process_request(self, request, spider):
        useragent = random.choice(USER_AGENTS)
        request.headers.setdefault("User-Agent", useragent)

# 隨機代理IP
class RandomProxy(object):
    def process_request(self, request, spider):
        proxy = random.choice(PROXIES)
        request.meta['proxy'] = "http://" + proxy['ip_port']
  1. 修改settings.py配置USER_AGENTS和PROXIES

添加USER_AGENTS

USER_AGENTS = [
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)"]

添加代理IP設置PROXIES:

PROXIES = [
    {'ip_port': '111.8.60.9:8123'},
    {'ip_port': '101.71.27.120:80'},
    {'ip_port': '122.96.59.104:80'},
    {'ip_port': '122.224.249.122:8088'},
]

除非特殊需要,禁用cookies,防止某些網站根據Cookie來封鎖爬蟲。

COOKIES_ENABLED = False

設置延遲

DOWNLOAD_DELAY = 3

最後設置setting.py里的DOWNLOADER_MIDDLEWARES,添加自己編寫的下載中間件類

DOWNLOADER_MIDDLEWARES = {
    #'mySpider.middlewares.MyCustomDownloaderMiddleware': 543,
    'mySpider.middlewares.RandomUserAgent': 81,
    'mySpider.middlewares.ProxyMiddleware': 100
}

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • https://blog.csdn.net/qq_24472595/article/details/70053863 ...
  • 為啥要說 promise ? 因為這是前端必須要掌握的一個知識,吹逼必備 同學們,開始上課了! 首先說說 Promise 是什麼? Promise 是JavaScript的第一個非同步標準模型,一個包含傳遞信息與狀態的對象,emmm...它的英語意思是承諾. so 它擁有的特點也有承諾的意思(兄弟們, ...
  • 業務中碰到微信小程式需要生成海報進行朋友圈分享,這個是非常常見的功能,沒想到實際操作的時候花了整整一天一夜才搞好,微信的 canvas 繪圖實在是太難用了,官方快點優化一下吧。 業務非常簡單,只需要將用到的圖片,文案素材拼裝到一張圖片,保存到本地就可以了。 首先創建畫布,將一張網上的圖片畫到畫布上。 ...
  • 參考學習:https://www.cnblogs.com/liwenzhou/p/7999532.html ...
  • 在 Android 和 Window 平臺下,有時候我們需要監聽返回按鍵的事件來進行相應的操作,也就是自定義返回按鍵事件。下麵根據一個例子來講解如何在 ionic 中自定義返回按鍵事件。 功能需求 首先看下要通過自定義返回按鍵事件來實現的需求(均在點擊返回鍵操作之後): 如果鍵盤打開,則隱藏鍵盤; ...
  • 打開包的 -- 吧xsd文件改為: 其他的也類似 ...
  • 一. Dubbo誕生背景 隨著互聯網的發展和網站規模的擴大,系統架構也從單點的垂直結構往分散式服務架構演進,如下圖所示: 單一應用架構:一個應用部署所有功能,此時簡化CRUD的ORM框架是關鍵 垂直應用架構:應用拆分為不相干的幾個應用,前後端分離,此時用於加速前端頁面開發的Web MVC框架是關鍵 ...
  • 1.頭文件 <!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd"> DTD聲明始終以!DOCTYPE開頭 configurat ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...