Python爬蟲連載17-ItemPipeLine、中間件

来源:https://www.cnblogs.com/ruigege0000/archive/2020/03/26/12571702.html

一、ItemPipeLine 1.爬蟲提取出的數據存入item之後,item中保存的數據需要進一步處理,比如:清洗,去重,存儲等 2.pipeline需要process_item函數 (1)process_item​:spider提出來的item作為參數出入,同時傳入的還有spider;此方法是必須 ...


一、ItemPipeLine

1.爬蟲提取出的數據存入item之後,item中保存的數據需要進一步處理,比如:清洗,去重,存儲等

2.pipeline需要process_item函數

(1)process_item​:spider提出來的item作為參數出入,同時傳入的還有spider;此方法是必須要實現的​;必須返回一個item對象,被丟棄的item不會被之後的pipeline處理

(2)__init__:構造函數

進行一些必要的參數初始化

(3)open_spider(spider)

spider對象被開啟的時候調用

(4)close_spider(spider)

spider對象被關閉的時候調用

3.Spider

(1)對應的是文件夾spiders下的文件

(2)__init__:初始化爬蟲的名稱,start_urls列表

(3)start_requests:生成Requests對象嫁給Scrapy下載並返回response

(4)parse:根據返回的response解析出相應的item,item自動進入到pip​eline;如果需要,解析出url,url自動交給requests模塊,一直迴圈下去

(5)start_request​:此方法僅能被調用一次,讀取start_urls內容並啟動迴圈過程

(6)​name:設置爬蟲的名字

(7)start_urls:設置開始第一批爬取的url

(8)allow_​domains:spider允許爬取的功能變數名稱列表

(9)start_request(self):只被調用一次

(10)parse

(11)log:日誌記錄

二、中間件

1.定義:中間件是處於引擎和下載器中間的一層組件

2.作用:對發出的請求和返回的結果進行預處理

3.​數量:可以有很多個,被按順序載入執行

4​.位置:在middlewares文件中,需要在settings中設置以便生效

5.編寫十分簡單

6.必須實現以下一個或者多個方法

(1)process_request(self,request,spider)

在request通過的時候​被調用;必須返回None或者Request或Response或raise IgnoreRequest;

None:scrapy將繼續處理該request

Request:scrapy將停止調用process_request並沖洗調度返回的request

Response:scrapy將不會調用其他的process_request或者process_exception,直接將該response作為結果同時會調用process_response函數

(2)process_response(self,request,response,spider)

跟process_request大同小異;每次返回結果的時候會自動調用;可以有多個,​按順序調用。

三、源碼

2.CSDN:https://blog.csdn.net/weixin_44630050

3.博客園:https://www.cnblogs.com/ruigege0000/

4.歡迎關註微信公眾號:傅里葉變換,個人公眾號,僅用於學習交流,後臺回覆”禮包“,獲取大數據學習資料

 

 


您的分享是我們最大的動力!

更多相關文章
  • 這個不是無限級評論,只有兩層,實現起來比較簡單點,所有評論的parent_id都是對應的第一級評論的id,新增評論的時候,就在對應的評論下麵追加,並且用prepend()把最新評論放到最前面 資料庫設計(我這裡沒有真正用到資料庫,為了測試,用的都是寫死的假數據,所以後臺請求的介面只是返回了一個cod ...
  • 按照國際慣例先放效果圖 index.html <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale ...
  • 在 HTML 文檔中,標題很重要;HTML 標題可以用來呈現文檔結構,設置得當的標題有利於用戶瀏覽您的網頁。標題(Heading)是通過 <h1> - <h6> 標簽進行定義的.<h1>定義最大的標題,<h6> 定義最小的標題。 註釋: A.瀏覽器會自動地在標題的前後添加空行。B.預設情況下,HTM ...
  • HTML 屬性:屬性是為 HTML 元素提供的附加信息。 HTML 元素可以設置屬性 屬性可以在元素中添加附加信息 屬性一般描述於開始標簽 屬性總是以名稱/值對的形式出現,比如:name="value"。 e.g:<a href=https://www.cnblogs.com/dhnblog/">這 ...
  • 圖解Java設計模式之外觀模式 影院管理項目 傳統方式解決影院管理 傳統方式解決影院管理問題分析 外觀模式基本介紹 外觀模式原理類圖 外觀模式解決影院管理 外觀模式的註意事項和細節 影院管理項目 組建一個家庭影院 :DVD 播放器、投影儀、自動屏幕、環繞立體聲、爆米花機,要求完成使用家庭影院的功能, ...
  • 問題引入:電腦里安裝了從官網下載的python3.8.0,。先使用了菜鳥教程的方法2安裝。https://www.runoob.com/numpy/numpy-install.html 發現產生錯誤。先是提示我的pip工具沒有更新到最新版本,於是根據提示更新後,發現仍有錯誤,於是放棄使用這方法里的命 ...
  • 需求 基於Spring, SpringMVC, Mybatis 實現一個類似京東商城的3C電子商城系統, 能夠實現商品管理與展示, 加入購物車, 支付購買等功能 運行環境 jdk1.8,tomcat8.5,mysql5.6,EclispseEE 項目技術 spring springmvc, myba ...
  • 框架:具有很強的通用性,且封裝了一些通用實現方法的項目模板 (非同步框架): 高性能的網路請求 高性能的數據解析 高性能的持久化存儲 高性能的全站數據爬取 高性能的深度爬取 高性能的分散式 Scrapy環境安裝 IOS和Linux windows 安裝完成後,輸入 測試一下,出現如下圖顯示,即安裝成功 ...
一周排行
  • 在上篇文章中我們已經知道了多線程是什麼了,那麼它到底可以幹嘛呢?這裡特別聲明一個前面的委托沒看的同學可以到上上上篇博文查看,因為多線程要經常使用到委托。源碼 一、非同步、同步 1.同步(在計算的理解總是要你措不及防,同步當線程做完一件事情之後,才會執行後續動作),同步方法慢,只有一個線程執行,非同步方法 ...
  • 本文主要是講解stopwatch對程式運行時間的準確測量 僅僅介紹裡面的StartNew()方法,Restart()方法和ElapsedMilliseconds { get;}屬性 public void StartNew():作用是對新的 System.Diagnostics.Stopwatch ...
  • 一、引言 RabbitMQ是Rabbit Message Queue的簡寫,但不能僅僅理解其為消息隊列,消息代理更合適。RabbitMQ是一個由 Erlang 語言開發的AMQP(高級消息隊列協議)的開源實現,其內部結構如下: RabbitMQ作為一個消息代理,主要和消息打交道,負責接收並轉發消息。 ...
  • TerminalMACS(Terminal Manager And Check System) 遠程終端管理和檢測系統 本文同步更新地址:https://dotnet9.com/11429.html 一、本系統可監控多種終端資源: 移動端 Android iOS PC端 Windows Linux ...
  • 首先,好消息是Goole將於2020年2月份發佈Chrome 80版本。本次發佈將推進Google的“漸進改良Cookie”策略,打造一個更為安全和保障用戶隱私的網路環境。 壞消息是,本次更新可能導致瀏覽器無法向服務端發送Cookie。如果你有多個不同功能變數名稱的應用,部分用戶很有可能出現會話時常被打斷的 ...
  • 在偶然一次調試某程式時,遇到提示: 無法載入程式集*****.XmlSerializers.dll,文件找不到(Could not load file or assembly ****.XmlSerializers.dll , FileNotFoundException...)。於是嘗試在項目屬性中 ...
  • 在上一篇abp(net core)+easyui+efcore實現倉儲管理系統——入庫管理之五(四十一) 文章中實現了入庫管理的列表頁面,並實現了控制器的代碼。在今天我們學習如何在前端實現新增入庫單信息界面。 ...
  • 面向對象 面向對象是一個抽象的概念,其本質就是對事物以抽象的方式建立對應的模型。 簡單來講,比如我有一隻鋼筆,那麼我就可以通過分析,可以得到 這隻鋼筆的材第是塑料,品牌是個雜牌 ,裡面裝的墨是黑色的,可以用。這時候就能建立一個鋼筆的模型,它在這裡應該有這些屬性: 圖是一個不正確的UML類圖,但是可以 ...
  • 在ASP.NET MVC中有四種過濾器類型 Action 1、在ASP.NET MVC項目中,新建文件夾Filter,然後新建類MyCustormFilter,繼承自ActionFilterAttribute類,我們來看下ActionFilterAttribute類有如下四個方法,從命名我應該就可以 ...
  • 你需要瞭解的 HTTP Status Code Intro 現在前後端分離的開發模式越來越流行,後端負責開發對應的 API,前端只需要 關註前端頁面的數據展示和前端邏輯即可。 對於前後端分離這種開發模式,我個人還是比較喜歡的,因為這樣可以讓更專業的人做更專業的事情,後端專註於做 API 的開發設計, ...
x