python爬蟲--多任務非同步協程, 快點,在快點......

来源:https://www.cnblogs.com/tangjian219/archive/2019/12/07/12002525.html

多任務非同步協程asyncio asyncio的使用 多任務協程 aiohttp的使用 非同步協程爬蟲案例 基於aiohttp的多任務協程的爬蟲 ...


多任務非同步協程asyncio

特殊函數:
    - 就是async關鍵字修飾的一個函數的定義
    - 特殊之處:
        - 特殊函數被調用後會返回一個協程對象
        - 特殊函數調用後內部的程式語句沒有被立即執行
        
- 協程
    - 對象。協程==特殊的函數。協程表示的就是一組特定的操作。
    
- 任務對象
    - 高級的協程(對協程的進一步的封裝)
        - 任務對象==協程==特殊的函數
            - 任務對象==特殊的函數
    - 綁定回調:
        - task.add_done_callback(task)
            - 參數task:當前回調函數對應的任務對象
            - task.result():返回的就是任務對象對應的特殊函數的返回值
            
- 事件迴圈對象
    - 創建事件迴圈對象
    - 將任務對象註冊到該對象中並且開啟該對象
    - 作用:loop可以將其內部註冊的所有的任務對象進行非同步執行

- 掛起:就是交出cpu的使用權。

await:被用做在特殊函數的內部,在被阻塞的時候
wait:給每一個任務賦予一個可被掛起的許可權

#【重點】在特殊函數內部的實現中,不可以出現不支持非同步的模塊(例如time,requests)代碼,如果出現了,則會中斷整個的非同步效果!!!

asyncio的使用

import asyncio
import time
from time import sleep

# 特殊函數
async def get_request(url):
    print('正在下載: ',url)
    sleep(2)
    print('下載完畢: ',url)
    return 'page_text'

# 回調函數,普通函數
def parse(task):
    # 參數表示任務對象
    print('i am callback',task.result())


start = time.time()
# 調用特殊函數
func = get_request('www.xx.com')

# 創建任務對象
task = asyncio.ensure_future(func)

# 給任務對象綁定回調函數
task.add_done_callback(parse)

# 創建一個事件迴圈對象
loop = asyncio.get_event_loop()

# 讓loop執行一個任務
loop.run_until_complete(task)

print("總耗時:",time.time()-start) #總耗時: 2.0017831325531006

多任務協程

import asyncio
import time

# 特殊函數
async def get_request(url):
    print('正在下載',url)
    # time.sleep(2) 不支持非同步的模塊 會中斷整個的非同步效果
    await asyncio.sleep(2)
    print('下載完成',url)
    return 'page_text'

def parse(task):
    print(task.result())


start = time.time()
urls = ['www.xxx1.com','www.xxx2.com','www.xxx3.com']

tasks = []  #存放多任務
for url in urls:
    # 調用特殊函數
    func = get_request(url)

    # 創建任務對象
    task = asyncio.ensure_future(func)

    # 給任務對象綁定回調函數
    task.add_done_callback(parse)
    tasks.append(task)

# 創建事件迴圈對象
loop = asyncio.get_event_loop()

# 執行任務
loop.run_until_complete(asyncio.wait(tasks))
print('總耗時:',time.time()-start) #2.0015313625335693

aiohttp的使用

- requests一定是不支持非同步
- aiohttp是一個支持非同步的網路請求模塊
    - 環境安裝
    - 編碼流程:
        - 大致的架構:
             with aiohttp.ClientSession() as s:
                #s.get(url,headers,params,proxy="http://ip:port")
                with s.get(url) as response:
                    #response.read()二進位(.content)
                    page_text = response.text()
                    return page_text
                
    - 補充細節
         - 在每一個with前加上async
         - 需要在每一個阻塞操作前加上await
                async with aiohttp.ClientSession() as s:
                    #s.get(url,headers,params,proxy="http://ip:port")
                    async with await s.get(url) as response:
                        #response.read()二進位(.content)
                        page_text = await response.text()
                        return page_text

非同步協程爬蟲案例

# 需求用多任務非同步協程獲取百度,搜狗,京東,淘寶的頁面源碼數據,並簡單解析
import asyncio
import requests
import time
from lxml import etree
urls = ['https://www.baidu.com','http://www.taobao.com/','http://www.jd.com/','https://www.sogou.com/']
headers={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
}
# 特殊函數
async def get_request(url):
    print('正在下載',url)
    page_text = requests.get(url,headers=headers).text
    print(url,'下載完成')
    return page_text

# 回調函數
def parse(task):
    page_text = task.result()
    tree = etree.HTML(page_text)
    div = tree.xpath('//div')
    print(div)

start = time.time()
tasks = []#存放多任務
for url in urls:
    func = get_request(url)
    task = asyncio.ensure_future(func)
    task.add_done_callback(parse)
    tasks.append(task)

# 創建事件要在迴圈外
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

print('總耗時:',time.time()-start)

#根據結果發現執行並不是非同步,原因是requests不是非同步模塊,所以整個程式不會非同步執行

基於aiohttp的多任務協程的爬蟲

# 需求用多任務非同步協程獲取百度,搜狗,京東,淘寶的頁面源碼數據,並簡答解析
import asyncio
import requests
import time
import aiohttp
from lxml import etree
urls = ['https://www.baidu.com','http://www.taobao.com/','http://www.jd.com/','https://www.sogou.com/']
headers={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
}
# 特殊函數
async def get_request(url):
    async with aiohttp.ClientSession() as s:
        # s.get(url,headers,params,proxy="http://ip:port")
        async with await s.get(url,headers=headers) as response:
            print('正在下載', url)
            # response.read()二進位(.content)
            page_text = await response.text()
            print(url, '下載完成')
            return page_text

# 回調函數
def parse(task):
    page_text = task.result()
    tree = etree.HTML(page_text)
    div = tree.xpath('//div')
    print(div)

start = time.time()
tasks = []#存放多任務
for url in urls:
    func = get_request(url)
    task = asyncio.ensure_future(func)
    task.add_done_callback(parse)
    tasks.append(task)

# 創建事件要在迴圈外
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

print('總耗時:',time.time()-start) #總耗時: 3.0848371982574463

您的分享是我們最大的動力!

更多相關文章
  • 利用JavaFX設計一個井字棋游戲,其中包括了能夠與玩家對戰的AI。AI的實現相比五子棋來說要簡單得多,可以保證AI在後手情況下絕對不會輸,具體實現如下: /* * To change this license header, choose License Headers in Project Pr ...
  • 說在前面 我覺得沒有什麼錯誤是調試器無法解決的,如果沒有,那我再說一遍,如果有,那當我沒說 一、拋出異常 可以通過 raise 語句拋出異常,使程式在我們已經知道的缺陷處停下,併進入到 except 語句 raise句法: raise關鍵字 調用的異常函數名 ValueError (這個函數必須是異 ...
  • 一.賦值即定義 1.運行以下代碼會出現報錯 2.使用global關鍵字解決以上報錯 3.不推薦使用global global總結 x+=1這種是特殊形式產生的錯誤的原因?先引用後賦值,而python動態語言是賦值才算定義,才能被引用。解決辦法,在這條語句前增加x=0之類的賦值語句,或者使用globa ...
  • 作者:陳皓 (@左耳朵耗子) | 編輯:玲玲 來源:https://dwz.cn/YELpxqyC 對,你沒看錯,本文就是教你怎麼寫出讓同事無法維護的代碼。 一、程式命名 1、容易輸入的變數名。比如:Fred,asdf 2、單字母的變數名。比如:a,b,c, x,y,z(如果不夠用,可以考慮a1,a ...
  • 1 開發需要環境 工欲善其事,必先利其器。在正式開發之前我們檢查好需要安裝的拓展,不要開發中發現這些問題,打斷思路影響我們的開發效率。 安裝 swoole 拓展包 安裝 redis 拓展包 安裝 laravel5.5 版本以上 如果你還不會用swoole就out了 2 Laravel 生成命令行 p ...
  • 投資機構或電商企業等積累的客戶交易數據繁雜。需要根據用戶的以往消費記錄分析出不同用戶群體的特征與價值,再針對不同群體提供不同的營銷策略。 用戶分析指標 根據美國資料庫營銷研究所Arthur Hughes的研究,客戶資料庫中有三個神奇的要素,這三個要素構成了數據分析最好的指標 R-最近一次消費(Rec ...
  • 前言本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯繫我們以作處理。作者:bihl 直接上代碼,哈哈!! from urllib import request import os from user_agents import ua_list i ...
  • 前言 這兩三年項目中一直在使用比較流行的spring cloud框架,也算有一定積累,打算有時間就整理一些乾貨與大家分享。 本次分享zuul網關集成jwt身份驗證 業務背景 項目開發少不了身份認證,jwt作為當下比較流行的身份認證方式之一主要的特點是無狀態,把信息放在客戶端,伺服器端不需要保存ses ...
一周排行
  • 1. 泛型Generic 1.1 引入泛型:延遲聲明 泛型方法聲明時,並未寫死類型,在調用的時候再指定類型。 延遲聲明:推遲一切可以推遲的。 1.2 如何聲明和使用泛型 泛型方法:方法名稱後面加上尖括弧,裡面是類型參數 類型參數實際上就是一個類型T聲明,方法就可以用這個類型T了。 如下所示: pub ...
  • 本筆記摘抄自:https://www.cnblogs.com/PatrickLiu/p/7903617.html,記錄一下學習過程以備後續查用。 一、引言 今天我們要講行為型設計模式的第三個模式--迭代器模式,先從名字上來看。迭代是遍歷的意思,迭代器可以理解為是遍歷某某的工具,遍歷什麼呢?在軟 件設 ...
  • 本筆記摘抄自:https://www.cnblogs.com/PatrickLiu/p/7928521.html,記錄一下學習過程以備後續查用。 一、引言 今天我們要講行為型設計模式的第四個模式--觀察者模式,先從名字上來看。觀察者模式可以理解為既然有“觀察者”,那肯定就有“被觀察者”了。“觀察者” ...
  • 先看核心代碼: public List<DataEntity> SearchShopSalesReport(DateTimeOffset? dateFrom, DateTimeOffset? dateTo,string groupBy) { var query = data.DataEntity / ...
  • 首先新建一個項目,名稱叫Caliburn.Micro.ActionConvertions 然後刪掉MainWindow.xaml 然後去app.xaml刪掉StartupUri這行代碼 其次,安裝Caliburn.Micro,Caliburn.Micro.Core,這兩個Nuget包,如下圖 然後新 ...
  • 一文帶你瞭解 C DLR 的世界 在很久之前,我寫了一片文章 "dynamic結合匿名類型 匿名對象傳參" ,裡面我以為DLR內部是用反射實現的。因為那時候是心中想當然的認為只有反射能夠在運行時解析對象的成員信息並調用成員方法。後來也是因為其他的事一直都沒有回過頭來把這一節知識給補上,正所謂亡羊補牢 ...
  • ​ 在C#8.0中,針對介面引入了一項新特性,就是可以指定預設實現,方便對已有實現進行擴展,也對面向Android和Swift的Api進行互操作提供了可能性。下麵我們來看看該特性的具體規則與實現。 一、主要應用場景: 在不破壞影響已有實現的情況下,可以添加新成員。這解決了在第三方已經大量使用了的介面 ...
  • 前言 通常在應用程式開發到正式上線,在這個過程中我們會分為多個階段,通常會有 開發、測試、以及正式環境等。每個環境的參數配置我們會使用不同的參數,因此呢,在ASP.NET Core中就提供了相關的環境API,方便我們更好的去做這些事情。 環境 ASP.NET Core使用ASPNETCORE_ENV ...
  • 擱置了幾天,工作忙的一塌糊塗,今天終於抽空來繼續看看MVC的知識。先來看看MVC的路由是如何處理的。以下為替代的路由: app.UseEndpoints(endpoints => { endpoints.MapControllerRoute( name: "default", pattern: "{ ...
  • 多用www.bing.com國際版解決代碼報錯 代碼運行的時候,報異常,國內的搜索引擎一搜, 浮誇的廣告太多,解決方案准確性不足, 盜版又很嚴重(導致一錯皆錯),方案未及時更新等詬病。 www.bing.com國際版可以關聯到: (1). 外國官網,可以獲得官方的解決方案。 (2). stackov ...
x