爬蟲框架Scrapy 之(一) --- scrapy初識

来源:https://www.cnblogs.com/TMMM/archive/2019/04/26/10774254.html
-Advertisement-
Play Games

Scrapy框架簡介 scrapy是基於Twisted的一個第三方爬蟲框架,許多功能已經被封裝好,方便提取結構性的數據。其可以應用在數據挖掘,信息處理等方面。提供了許多的爬蟲的基類,幫我們更簡便使用爬蟲。 Scrapy 的組成部分: 1. 引擎、2.下載器、3. 爬蟲、4. 調度器、5. 管道(it ...


Scrapy框架簡介

scrapy是基於Twisted的一個第三方爬蟲框架,許多功能已經被封裝好,方便提取結構性的數據。其可以應用在數據挖掘,信息處理等方面。提供了許多的爬蟲的基類,幫我們更簡便使用爬蟲。

Scrapy 的組成部分: 1. 引擎、2.下載器、3. 爬蟲、4. 調度器、5. 管道(item和pipeline)

   以上五部分 只需要關註 爬蟲管道 即可

  1. spiders:蜘蛛或爬蟲,分析網頁的地方,主要的代碼寫在這裡
  2. 管道:    包括item和pipeline,用於處理數據
  3. 引擎:    用來處理整個系統的數據流,觸發各種事務(框架的核心)
  4. 下載器: 用於下載網頁內容,並且返回給蜘蛛(下載器基於Twisted的高效非同步模型)
  5. 調度器: 用來接收引擎發過來的請求,壓入隊列中等處理任務

 

Scrapy框架安裝

Mac安裝步驟

  1. 安裝依賴庫Twisted。 打開終端  pip  install  twisted
  2. 安裝其框架Scrapy。 pip install scrapy

wid安裝步驟

  1. 線上安裝和Mac相同, pip  install   twisted
  2. 離線安裝 需要在網站http://www.lfd.uci.edu/~gohlke/pythonlibs#twisted下載響應的版本,然後想下載好的文件拖到 pip install 後面
  3. 安裝其框架和Mac相同
  4. 安裝 pip   install   pywin32

 

Scrapy工程創建

工程創建:

  1. 首先 在終端 cd到存放的目錄下
  2. 創建項目: scrapy startproject 項目名。 
  3. 然後 在pycharm中打開此項目(空工程)
  4. 創建爬蟲: scrapy genspider 爬蟲名 功能變數名稱 
  5. 運行爬蟲 scrapy crawl 爬蟲名 [-o xx.json/xml/csv]

工程配置運行:

  1. 根據需求編寫item
  2. 在spiders裡面解析數據
  3. 在管道中處理解析完的數據

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1、創建一個html文件用於簡單的網頁註冊demo 2、創建一個html文件用於簡單的網頁登錄demo 3、創建一個Django項目,並將剛纔的兩個html文件放入template模板文件夾中 4、打開Django項目下預設生成的urls.py文件,進行一些業務功能的編輯 5、運行整個Django項 ...
  • 前言: 今天想和大家分享有關 Redis 主從同步(也稱「複製」)的內容。 我們知道,當有多台 Redis 伺服器時,肯定就有一臺主伺服器和多台從伺服器。一般來說,主伺服器進行寫操作,從伺服器進行讀操作。 那麼這裡有存在一個問題:從伺服器如何和主伺服器進行數據同步的呢? 這個問題,就是通過今天的內容 ...
  • 新建爬蟲文件 在pycharm中打開scrapy的空項目,點擊“Terminal” 。然後創建一個爬蟲文件 scrapy genspider 爬蟲文件名 功能變數名稱 打開爬蟲文件 引擎驅動過程 ...
  • Junit使用 1.導入Junit包 到官網下載個 文件,放在 目錄 或者在類的空白處打 ,之後按下 ,選擇添加 依賴 之後就會彈出一個視窗,搜索網上jar包,記得把那個Download to的選項勾選上,這樣jar包之後就會通過maven倉庫下載到當前項目的lib目錄下 2. 創建test目錄 與 ...
  • lambda只是一個表達式,不需要定義函數,故也是匿名函數,用法為:lambda 參數:表達式。 測試結果: map函數,它接收一個函數和若幹個序列,返回新的序列,用法為map(function,iterable1,iterable2,...),function為函數表達式,這樣就可以跟lambda ...
  • 1.什麼是反射? Java中的反射機制是Java語言的一個很重要的特性,是Java “動態性” 的重要體現。Java反射機制讓我們在程式運行狀態中,對於任意一個類,都能知道這個類的所有屬性和方法;對於任意一個對象,都能調用他的任意一個方法。這種動態獲取屬性以及動態調用對象方法的功能就是“Java的反 ...
  • 框架簡介 目錄結構 項目處理 項目創建處理,裡面是沒有爬蟲的,我們需要通過指令來創建一個爬蟲: cd firstSpider/firstSpider scrapy genspider qiubai “www.qiushibaike.com" 以上指令完事後,就會在firstSpider/firstS ...
  • ※儘量不適用中文,各種未知錯誤,嘿嘿 此方法臨時解決問題,可以使程式運行,後續是否還有錯誤是未知數 需要修改3處位置: 1.資源文件中.rc 右鍵,點擊“查看代碼”,找到帶中文的資源ID,把中文修改掉 2.資源頭文件中Resource.h 找到帶中文的資源ID,把中文修改掉 3.DialogEx派生 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...