1. Spider Middleware Spider Middleware是介入到Scrapy的Spider處理機制的鉤子框架。當Downloader生成Response之後，Response會被髮送給Spider，在發送給Spider之前，Response會首先經過Spider Middlew ...

1. Spider Middleware

Spider Middleware是介入到Scrapy的Spider處理機制的鉤子框架。

當Downloader生成Response之後，Response會被髮送給Spider，在發送給Spider之前，Response會首先經過Spider Middleware處理，當Spider處理生成Item和Request之後，Item Request還會經過Spider Middleware的處理。

Spider Middleware有三個作用：

我們可以在Downloader生成的Response發送給Spider之前，也就是在Response發送給Spider之前對Response進行處理。
我們可以在Spider生成的Request發送給Scheduler之前，也就是在Request發送給Scheduler之前對Request進行處理。
我們可以在Spider生成的Item發送給Item Pipeline之前，也就是在Item發送給Item Pipeline之前對Item進行處理。

1.1 使用說明

需要說明的是，Scrapy其實已經提供了許多Spider Middleware，它們被SPIDER_MIDDLEWARES_BASE這個變盤所定義。

SPIDER_MIDDLEWARES_BASE變數的內容如下：

{
    'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware':50,
    'scrapy spidermiddlewares offsite Of site iddleware':500,
    'scrapy.spidermiddlewares.referer.RefererMiddleware':700,
    'scrapy.spidermiddlewares.urllength.UrllengthMiddleware':800,
    'scrapy.spidermiddlewares.depth.DepthMiddleware':900,
}

和Downloader Middleware一樣，Spider Middleware首先加入到SPIDER_MIDDLEWARES設置中，該設置會和Scrapy中SPIDER_MIDDLEWARES_BASE定義的Spider Middleware合併。然後根據鍵值的數字優先順序排序，得到一個有序列表。第一Middleware是最靠近引擎的，最後一個Middleware是最靠近Spide的。

1.2 核心方法

Scrapy內置的Spider Middleware為Scrapy提供了基礎的功能。如果我們想要擴展其功能，只需要實現某幾個方法即可。

每個Spider Middleware都定義了以下一個或多個方法的類，核心方法有如下4個。

process_spider_input(response,spider)
process_spider_output(response,result,spider)
process_spider_exception(response,exception,spider)
proce ss_start_requests(start_requests,spider)

只需要實現其中一個方法就可以定義一個Spider Middleware。

(1) process_spider_input(response,spider)

當Response被Spider Middleware處理時，process_spider_input()方法被調用。

process_spider_input()方法的參數有如下兩個：

response，是Response對象，即被處理的Response。

spider，是Spider對象，即該Response對應的Spider。

process_spider_input()應該返回None或者拋出一個異常。

如果它返回None,Scrapy將會繼續處理該Response，調用所有其他的Spider Middleware，直到Spider處理該Response。

如果它拋出一個異常，Scrapy將不會調用任何其他Spider Middleware的process_spider_input()方法，而調用Request的errback()方法。errback的輸出將會被重新輸入到中間件中，使用process_spider_output()方法來處理，當其拋出異常時則調用process_spider_exception()來處理。

(2) process _spider_output(response,result,spider)

當Spider處理Response返回結果時，process_spider_output()方法被調用。process_spider_output()方法的參數有如下三個：

response，是Response對象，即生成該輸出的Response。

result，包含Request或Item對象的可迭代對象，即Spider返回的結果。

spider，是Spider對象，即其結果對應的Spider。

process_spider_output()必須返回包含Request或Item對象的可迭代對象。

(3) process_spider_exception(response,exception,spider)

當Spider或Spider Middleware的process_spider_input()方法拋出異常時，process_spider_exception()方法被調用。

process_spider_exception()方法的參數有如下三個：

response，是Response對象，即異常被拋出時被處理的Response。

exception，是Exception對象，即被拋出的異常。

spider，是Spider對象，即拋出該異常的Spider。

process_spider_exception()必須要麼返回None，要麼返回一個包含Response或Item對象的可迭代對象。

如果它返問None，Scrapy將繼續處理該異常，調用其他Spider Middleware中的process_spider_exception()方法，直到所有Spider Middleware都被調用。

如果它返回一個可迭代對象，Spider Middleware的process_spider_output()方法被調用，其他的process_spider_exception()不會被調用。

(4) process_start_requests (start_requests,spider)

process_start_requests()方法以Spider啟動的Request為參數被調用，執行的過程類似於process_spider_output()，只不過它沒有相關聯的Response並且必須返回Request。

proces s_start_requests()方法的參數有如下兩個：

start_requests，是包含Request的可迭代對象，即Start Requests。

spider，是Spider對象，即Start Requests所屬的Spider。

process_start_requests()必須返回另一個包含Request對象的可迭代對象。

2. Item Pipeline

Item Pipeline是項目管道。

Item Pipeline的調用發生在Spider產生Item之後。當Spider解析完Response之後，Item就會傳遞到Item Pipeline，被定義的Item Pipeline組件會依次調用，完成一連串的處理過程，比如數據清洗、存儲等。

Item Pipeline主要功能有四點：

清理HTML數據。

驗證爬取數據，檢查爬取欄位。

查重並丟棄重覆內容。

將爬取結果保存到資料庫。

我們可以自定義Item Pipeline，只需要實現指定的方法，其中必須要實現的一個方法是： process_item(item,spider)。

另外還有如下幾個比較實用的方法：

open_spider(spider)

close_spider(spider)

from_crawler(cls,crawler)

2.1 常用方法

(1) process_item(item,spider)

process_item()是必須要實現的方法，被定義的Item Pipeline會預設調用這個方法對Item進行處理。比如，我們可以進行數據處理或者將數據寫入到資料庫等操作。它必須返回Item類型的值或者拋出一個DropItem異常。

process_itern()方法的參數有兩個：

item，是Item對象，即被處理的Item。

Spider，是Spider對象，即生成該Item Spider。

process_item()方法的返回類型歸納如下：

如果它返回的是Item對象，那麼此Item會被低優先順序的Item Pipeline的process_item()方法處理，直到所有的方法被調用完畢。

如果它拋出的是DropItem異常，那麼此Item會被丟棄，不再進行處理。

(2) open_spider(self,spider)

open_spider()方法是在Spider開啟的時候被自動調用的。在這裡我們可以做一些初始化操作，如開啟資料庫連接等。其中，參數spider就是被開啟的Spider對象。

(3) close_spider(spider)

close_spider()方法是在Spider關閉的時候自動調用的。在這裡我們可以做一些收尾工作，如關閉資料庫連接等。其中，參數spider就是被關閉的Spider對象。

(4) from_crawler(cls,crawler)

from_crawler()方法是一個類方法，用＠classmethod標識，是一種依賴註入的方式。它的參數是crawler，通過crawler對象，我們可以拿到Scrapy的所有核心組件，如全局配置的每個信息，然後創建Pipeline實例。參數cls就是Class，最後返回一個Class實例。

2.2 管道示例

(1) 價格驗證和刪除沒有價格的商品

調整price那些不包含增值稅（price_excludes_vat屬性）的項目的屬性，並刪除那些不包含價格的項目：

from scrapy.exceptions import DropItem

class PricePipeline(object):

    vat_factor = 1.15

    def process_item(self, item, spider):
        if item.get('price'):
            if item.get('price_excludes_vat'):
                item['price'] = item['price'] * self.vat_factor
            return item
        else:
            raise DropItem("Missing price in %s" % item)

(2) 將項目寫入JSON文件

將所有已刪除的項目存儲到一個items.json文件中，每一行包含一個以JSON格式序列化的項目：

import json

class JsonWriterPipeline(object):

    def open_spider(self, spider):
        self.file = open('items.json', 'w')

    def close_spider(self, spider):
        self.file.close()

    def process_item(self, item, spider):
        line = json.dumps(dict(item)) + "\n"
        self.file.write(line)
        return item

(3) 將項目寫入MongoDB

在這個例子中，我們將使用pymongo將項目寫入MongoDB。MongoDB地址和資料庫名稱在Scrapy設置中指定；MongoDB集合以item類命名。

import pymongo

class MongoPipeline(object):

    collection_name = 'scrapy_items'

    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DATABASE', 'items')
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    def close_spider(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        self.db[self.collection_name].insert_one(dict(item))
        return item

(4) 截取項目的截圖

從process_item()方法返回Deferred。它使用Splash渲染項目URL的屏幕截圖。Pipeline向本地運行的Splash示例發出請求。下載請求並延遲回調激活後，它會將項目保存到文件並將文件名添加到項目中。

import scrapy
import hashlib
from urllib.parse import quote


class ScreenshotPipeline(object):
    """Pipeline that uses Splash to render screenshot of
    every Scrapy item."""

    SPLASH_URL = "http://localhost:8050/render.png?url={}"

    def process_item(self, item, spider):
        encoded_item_url = quote(item["url"])
        screenshot_url = self.SPLASH_URL.format(encoded_item_url)
        request = scrapy.Request(screenshot_url)
        dfd = spider.crawler.engine.download(request, spider)
        dfd.addBoth(self.return_item, item)
        return dfd

    def return_item(self, response, item):
        if response.status != 200:
            # Error happened, return item.
            return item

        # Save screenshot to file, filename will be hash of url.
        url = item["url"]
        url_hash = hashlib.md5(url.encode("utf8")).hexdigest()
        filename = "{}.png".format(url_hash)
        with open(filename, "wb") as f:
            f.write(response.body)

        # Store filename in item.
        item["screenshot_filename"] = filename
        return item

(5) 重覆過濾

一個過濾器，用於查找重覆項目，並刪除已處理的項目。假設我們的項目具有唯一ID，但我們的spider會返回具有相同ID的多個項目：

from scrapy.exceptions import DropItem

class DuplicatesPipeline(object):

    def __init__(self):
        self.ids_seen = set()

    def process_item(self, item, spider):
        if item['id'] in self.ids_seen:
            raise DropItem("Duplicate item found: %s" % item)
        else:
            self.ids_seen.add(item['id'])
            return ite

爬蟲(十六)：Scrapy框架(三) Spider Middleware、Item Pipeline、對接Selenium