scrapy爬取美女圖片

来源:https://www.cnblogs.com/dayouzi/archive/2019/02/11/10363235.html
-Advertisement-
Play Games

使用scrapy爬取整個網站的圖片數據。並且使用 CrawlerProcess 啟動。 1 # -*- coding: utf-8 -* 2 import scrapy 3 import requests 上面的是spider文件 上面的是item文件 這上面是管道文件 這是在setting裡面的, ...


使用scrapy爬取整個網站的圖片數據。並且使用 CrawlerProcess 啟動。 1 # -*- coding: utf-8 -* 2 import scrapy 3 import requests

 4 from bs4 import BeautifulSoup
 5 
 6 from meinr.items import MeinrItem
 7 
 8 
 9 class Meinr1Spider(scrapy.Spider):
10     name = 'meinr1'
11     # allowed_domains = ['www.baidu.com']
12     # start_urls = ['http://m.tupianzj.com/meinv/xiezhen/']
13     headers = {
14     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
15 }
16     def num(self,url,headers): #獲取網頁每個分類的頁數和URL格式
17         html = requests.get(url=url,headers=headers)
18         if html.status_code != 200:
19             return '',''
20         soup = BeautifulSoup(html.text,'html.parser')
21         nums = soup.select('#pageNum li')[3]
22         nums = nums.select('a')[0].attrs.get('href')
23         num = str(nums[:-5]).split('_')[-1]
24         papa = str(nums[:-5]).split('_')[:-1]
25         papa = '_'.join(papa)+'_'
26         return int(num),papa
27 
28 
29     def start_requests(self):
      #這是網站的所有分類
30 urls = ['http://m.tupianzj.com/meinv/xiezhen/','http://m.tupianzj.com/meinv/xinggan/','http://m.tupianzj.com/meinv/guzhuang/','http://m.tupianzj.com/meinv/siwa/','http://m.tupianzj.com/meinv/chemo/','http://m.tupianzj.com/meinv/qipao/','http://m.tupianzj.com/meinv/mm/'] 31 num = 0 32 for url in urls: 33 num,papa = self.num(url,self.headers) 34 for i in range(1,num): 35 if i != 1: 36 urlzz = url + papa + str(i) + '.html' #拼裝每頁URL 37 else: 38 urlzz = url 39 yield scrapy.Request(url=urlzz,headers=self.headers,callback=self.parse) 40 def parse(self, response): 41 # print(response.body) 42 htmllist = response.xpath('//div[@class="IndexList"]/ul[@class="IndexListult"]/li')#獲取每頁的圖集URL和title 43 # print(htmllist) 44 for html in htmllist: 45 url = html.xpath('./a/@href').extract() 46 title = html.xpath('./a/span[1]/text()').extract() 47 # print(url) 48 # print(title) 49 yield scrapy.Request(url=url[0],meta={ 50 'url':url[0], 51 'title':title[0]}, 52 headers=self.headers, 53 callback=self.page 54 ) 55 def page(self,response): 56 is_it = response.xpath('//div[@class="m-article"]/h1/text()').extract() 57 if is_it: 58 is_it = is_it[0].strip() 59 num = int(is_it[-4]) 60 a = 0 61 for i in range(1,int(num)): 62 a += 1 63 url = str(response.url)[:-5] + '_' + str(i) + '.html' #拼裝圖集內的URL分頁 64 yield scrapy.Request(url=url, headers=self.headers, callback=self.download, meta={ 65 'url': response.meta.get('url'), 66 'title': response.meta.get('title'), 67 'num':a 68 69 },dont_filter=True) #使用了dont_filter取消去重是因為我們需要進入第一頁獲取總頁數
70 71 def download(self,response): 72 img = response.xpath("//img[@id='bigImg']/@src").extract() #獲取每個頁面里的img 73 if img: 74 time = MeinrItem() 75 time['img'] = img[0] 76 time['title'] = response.meta.get('title') 77 time['num'] = response.meta.get('num') 78 yield time

上面的是spider文件

import scrapy


class MeinrItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    img = scrapy.Field()
    num = scrapy.Field()
    pass

上面的是item文件

 1 import os
 2 import requests
 3 
 4 class MeinrPipeline(object):
 5     def open_spider(self,spider):#打開spider時啟動。獲取下載地址
 6         self.path = os.path.dirname(os.path.dirname(os.path.abspath(__file__))) + os.sep + 'download'
 7         # print(self.path)
 8     def process_item(self, item, spider):
 9         title = item['title']
10         img = item['img']
11         num = item['num']
12         path = self.path + os.sep + title #將圖集的title設置為每個圖集的文件夾的名字
13         if not os.path.exists(path): #沒有則創建
14             os.makedirs(path)
15         html = requests.get(url=img,headers=spider.headers).content
16         path = path + os.sep + str(num) + '.jpg' #這是每個圖集內的圖片是第幾頁
17         with open(path,'wb')as f:
18             f.write(html)
19         return item

這上面是管道文件

1 import datetime,os
2 time = datetime.datetime.now().strftime('%Y_%m_%H_%M_%S')
3 LOG_FILE = 'logs'+ os.sep +str(time) + '_' + "meinr.log"
4 LOG_LEVEL = "INFO"

這是在setting裡面的,設置的日誌信息和保存的位置以及消息的級別

 1 # -*- coding: utf-8 -*-
 2 import sys,datetime
 3 import os
 4 
 5 from meinr.spiders.meinr1 import Meinr1Spider
 6 from scrapy.crawler import CrawlerProcess
 7 from scrapy.utils.project import get_project_settings
 8 
 9 
10 process = CrawlerProcess(get_project_settings()) #這裡獲取spider裡面的setting
11 process.crawl(Meinr1Spider) #使用crawl啟動Meinr1Spider爬蟲
12 process.start() #開始運行

這是spider的啟動文件

文件格式就是這樣

 

Git地址 :https://github.com/18370652038/meinr.git

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、集合的概念 1.概述: 在學習集合前,先回憶一下數組的一個特征 數組有固定的長度,定義一個數組: int[] array = new int[]; 而針對數據長度可變的情況,產生了集合, java集合就是為了應對動態增長數據,在編譯時無法知道具體的數據量而產生的。 集合類又叫容器類。 2.集合和 ...
  • 響應式流是一個倡議,用來為具有非阻塞後壓的非同步流處理提供一個標準。大家努力的目標集中在運行時環境(JVM和JavaScript)和網路協議上。 註:響應式流其實就是一個規範,本文講解的正是這個規範,且這個規範已經被引入到JDK9里了。 後壓:就是下游出現了問題,得不到解決時,這個問題就會逆流而上,繼 ...
  • 答案經過網路整理,難免有重覆的內容,感謝各位博主的無私奉獻 1.  TCP和UDP的區別,哪個是三次握手? TCP(Transmission Control Protocol 傳輸控制協議) UDP(User Datagram Protocol 用戶數據包協議) OSI(Open Syst ...
  • 要瞭解@property的用途,首先要瞭解如何創建一個屬性。 一般而言,屬性都通過__init__方法創建,比如: 創建實例,運行結果: 但是這樣子有2個壞處: 1.__init__ 中定義的屬性是可變的,如果一個系統的開發人員在知道屬性名的情況下,就可以進行隨意更改(儘管可能是在無意識的情況下), ...
  • 前言 前面幾節枯燥的模塊終於結束了,想要完全掌握前幾節的模塊需要不斷的練習才行,畢竟眼過千遍不如手過一遍嘛。在一些項目需求里,要對文件進行IO操作,畢竟重要數據不可能列印到屏幕上而不去保存,Python對的文件IO操作並不是很複雜,相信你很快就能掌握它! 文件IO操作 對於一個文件的操作,無非不過創 ...
  • 新聞 "應用F 挑戰活動" "Visual F :鎖定VS 2019正式版本" "Visual F :VS 2019工具性能" "ML.NET 0.10發佈" "F eXchange 2019即將來臨" "Visual Studio 2019預覽版2發佈" 視頻及幻燈片 "擴展Elm / Fable ...
  • 初識函數 1.什麼是函數 具有封裝功能的代碼塊。 2.函數的定義,函數名,函數體以及函數的調用。 1.定義函數,使用def def 函數名(): 函數體 2.函數名,跟變數的命名規範基本相同 3.函數體,具體要執行的的功能 4.函數的調用:使用函數名可以調用函數,寫法:函數名(),這個函數已經被調用 ...
  • 迭代器 1.函數名的運用 函數名是一個特殊的變數,與括弧搭配可以調用函數 1.函數名的記憶體地址 2.函數名可以賦值給其他變數 3.函數名可以當做容器類的元素 4.函數名可以當做函數的參數 5.函數名可以作為函數的返回值 2.閉包 閉包:內層函數對外層函數變數(非全局變數)的引用 我們可以使用__cl ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...