Scrapy框架

class ChoutiSpider(scrapy.Spider):
    name = 'chouti'
    allowed_domains = ['dig.chouti.com']
    start_urls = ['http://dig.chouti.com/']

    def parse(self, response, *args, **kwargs):
        print(response.text)

# 爬蟲類中定義了start_urls, 配了地址
# 一啟動會調用Spider類中start_requests方法--->從start_urls迴圈出url，包裝成requests對象返回
# 進入調度後，走到下載器--->下載回來的responses對象返回到爬蟲，調用parse方法進行解析
---------------------------------------

如果解析出一個網址，想繼續爬取這個網址，需要調用Requset類傳入url，生成requests對象並返回，它會繼續走scrapy框架的流程
from scrapy.http import Request

class ChoutiSpider(scrapy.Spider):
    name = 'chouti'
    allowed_domains = ['dig.chouti.com']
    start_urls = ['http://dig.chouti.com/']

    def parse(self, response, *args, **kwargs):
        print(response.text)
        return Request('http:www.chouti.com/article.html/')
       # return Request('http:www.baidu.com/', dont_filter=True)   解析出來的百度的域不能爬，需要設置dont_filter
        
# 先爬dig.chouti.com，如果解析出http:www.chouti.com/article.html這個地址，要繼續爬
# 調用Request類，生成對象並返回-->調度器-->下載器-->返回response對象-->爬蟲，調用parse繼續解析
# allowed_domains設定了只能在某個域下爬，如果解析出來其他域就不能爬，dont_filter參數可以讓繼續爬其他域

from bs4 import BeautifulSoup

class ChoutiSpider(scrapy.Spider):
    name = 'chouti'
    allowed_domains = ['dig.chouti.com']
    start_urls = ['http://dig.chouti.com/']

    def parse(self, response, *args, **kwargs):
        print(response.text)
        soup=BeautifulSoup(response.text, 'lxml')
        div_list=soup.find_all(class_='link-title') 
        for div in div_list:
           print(div.text)

xpath解析：
  # 取到所有link-title類的標簽對象
  response.xpath('//a[contains(@class,"link-title")]')
  # 取到所有link-title類的標簽的html(doc)文檔
  response.xpath('//a[contains(@class,"link-title")]').extract()
  # 取到所有link-title類的標簽的文本
  response.xpath('//a[contains(@class,"link-title")]/text()').extract()  
  # 取到所有link-title類的標簽的href屬性
  response.xpath('//a[contains(@class,"link-title")]/@href').extract() 
    
css解析:
  # 取到所有link-title類的標簽對象
  response.css('.link-title')
  # 取到所有link-title類的標簽的html(doc)文檔
  response.css('.link-title').extract()
  # 取到所有link-title類的標簽的文本
  response.css('.link-title::text').extract()
  # 取到所有link-title類的標簽的href屬性
  response.css('.link-title::attr(href)').extract()  
    
# extract()取出的內容放在列表裡，即使取一個也放在列表，extract_first()取列表的第一個元素

方案一：parser函數必須返回列表套字典的形式（瞭解）
    def parse(self, response, *args, **kwargs):
        ll=[]
        div_list = response.xpath('//div[contains(@class, "link-item")]')
        for div in div_list:
            title = div.css('.link-title::text').extract_first()
            detail_url = div.css('.link-title::attr(href)').extract_first()
            pic_url = div.css('.image-scale::attr(src)').extract_first()
            ll.append('title':title, 'detail_url':detail_url, 'pic_url':pic_url)
        return ll

執行下列命令，保存前肯定先執行爬蟲爬取 chouti.csv是保存的文件名，這個文件可以用excel打開；只能用csv\json\xml\pickle幾種格式保存
scrapy crawl chouti -o chouti.csv
    

方案二：高級，通過pipline item存儲（mysql，redis，文件）
    1、在items.py中寫一個類，類似drf的序列化類
        class ChoutiItem(scrapy.Item):
              title = scrapy.Field()         # 要返回的欄位對應上
              detail_url = scrapy.Field()
              pic_url = scrapy.Field()
    	
    
    2、在spinder中導入，實例化，把數據放進去
    因為item字典沒有重寫點攔截方法，因此只能用字典方式賦值，不能對象.title賦值
    from testscrapy.items import ChoutiItem

    def parse(self, response, *args, **kwargs):
        div_list = response.xpath('//div[contains(@class, "link-item")]')
        for div in div_list:
            item = ChoutiItem()  # 迴圈一次生成一個item對象，添加屬性後返回
            title = div.css('.link-title::text').extract_first()
            detail_url = div.css('.link-title::attr(href)').extract_first()
            pic_url = div.css('.image-scale::attr(src)').extract_first()
            if not pic_url:
                pic_url = ''

            item['title'] = title
            item['detail_url'] = detail_url
            item['pic_url'] = pic_url
            yield item      

        
    3、返回的是item對象，就會走到pipeline, 在pipelines.py中寫Pipeline存儲的類
# 以存文件為例，如果直接在process_item， with open打開寫，每次返回item走到ChoutiFilePipeline，就會存文件，進行IO操作，必須要a模式，w模式每次打開會覆蓋
# open_spider方法中open文件--->process_item方法中寫入文件--->close_spider方法中colse文件，整個構成上下文管理，不用反覆打開關閉，進行IO操作

        class ChoutiFilePipeline(object):
          def open_spider(self, spider):    # 開始的時候   
              self.file=open('chouti.txt', 'w', encoding='utf-8') 

          def process_item(self, item, spider):  # 在這個函數里持久化，存入數據，這裡要return item，不然排在後面的管道找不到item對象
              self.file.write(item['title'] + \n)
              self.file.write(item['detail_url'] + \n)
              self.file.write(item['pic_url'] + \n)
              return item

          def close_spider(self, spider):   # 結束的時候
              self.file.close()

       
        
    4、在setting中配置，把你自己寫的ChoutiFilePipeline配置進去;數字越小，優先順序越高：pipelines是管道，可以同時丟到不同的位置取存儲
    如；FilePipeline、MySqlPipline，都可以配置在列表中，用數字表示優先順序
    	ITEM_PIPELINES = {
   		'firstscrapy.pipelines.ChoutiFilePipeline': 300,
                'firstscrapy.pipelines.ChoutiMySqlPipeline': 305,
		}