python爬蟲--多任務非同步協程, 快點,在快點......

来源:https://www.cnblogs.com/tangjian219/archive/2019/12/07/12002525.html

多任務非同步協程asyncio asyncio的使用 多任務協程 aiohttp的使用 非同步協程爬蟲案例 基於aiohttp的多任務協程的爬蟲 ...


多任務非同步協程asyncio

特殊函數:
    - 就是async關鍵字修飾的一個函數的定義
    - 特殊之處:
        - 特殊函數被調用後會返回一個協程對象
        - 特殊函數調用後內部的程式語句沒有被立即執行
        
- 協程
    - 對象。協程==特殊的函數。協程表示的就是一組特定的操作。
    
- 任務對象
    - 高級的協程(對協程的進一步的封裝)
        - 任務對象==協程==特殊的函數
            - 任務對象==特殊的函數
    - 綁定回調:
        - task.add_done_callback(task)
            - 參數task:當前回調函數對應的任務對象
            - task.result():返回的就是任務對象對應的特殊函數的返回值
            
- 事件迴圈對象
    - 創建事件迴圈對象
    - 將任務對象註冊到該對象中並且開啟該對象
    - 作用:loop可以將其內部註冊的所有的任務對象進行非同步執行

- 掛起:就是交出cpu的使用權。

await:被用做在特殊函數的內部,在被阻塞的時候
wait:給每一個任務賦予一個可被掛起的許可權

#【重點】在特殊函數內部的實現中,不可以出現不支持非同步的模塊(例如time,requests)代碼,如果出現了,則會中斷整個的非同步效果!!!

asyncio的使用

import asyncio
import time
from time import sleep

# 特殊函數
async def get_request(url):
    print('正在下載: ',url)
    sleep(2)
    print('下載完畢: ',url)
    return 'page_text'

# 回調函數,普通函數
def parse(task):
    # 參數表示任務對象
    print('i am callback',task.result())


start = time.time()
# 調用特殊函數
func = get_request('www.xx.com')

# 創建任務對象
task = asyncio.ensure_future(func)

# 給任務對象綁定回調函數
task.add_done_callback(parse)

# 創建一個事件迴圈對象
loop = asyncio.get_event_loop()

# 讓loop執行一個任務
loop.run_until_complete(task)

print("總耗時:",time.time()-start) #總耗時: 2.0017831325531006

多任務協程

import asyncio
import time

# 特殊函數
async def get_request(url):
    print('正在下載',url)
    # time.sleep(2) 不支持非同步的模塊 會中斷整個的非同步效果
    await asyncio.sleep(2)
    print('下載完成',url)
    return 'page_text'

def parse(task):
    print(task.result())


start = time.time()
urls = ['www.xxx1.com','www.xxx2.com','www.xxx3.com']

tasks = []  #存放多任務
for url in urls:
    # 調用特殊函數
    func = get_request(url)

    # 創建任務對象
    task = asyncio.ensure_future(func)

    # 給任務對象綁定回調函數
    task.add_done_callback(parse)
    tasks.append(task)

# 創建事件迴圈對象
loop = asyncio.get_event_loop()

# 執行任務
loop.run_until_complete(asyncio.wait(tasks))
print('總耗時:',time.time()-start) #2.0015313625335693

aiohttp的使用

- requests一定是不支持非同步
- aiohttp是一個支持非同步的網路請求模塊
    - 環境安裝
    - 編碼流程:
        - 大致的架構:
             with aiohttp.ClientSession() as s:
                #s.get(url,headers,params,proxy="http://ip:port")
                with s.get(url) as response:
                    #response.read()二進位(.content)
                    page_text = response.text()
                    return page_text
                
    - 補充細節
         - 在每一個with前加上async
         - 需要在每一個阻塞操作前加上await
                async with aiohttp.ClientSession() as s:
                    #s.get(url,headers,params,proxy="http://ip:port")
                    async with await s.get(url) as response:
                        #response.read()二進位(.content)
                        page_text = await response.text()
                        return page_text

非同步協程爬蟲案例

# 需求用多任務非同步協程獲取百度,搜狗,京東,淘寶的頁面源碼數據,並簡單解析
import asyncio
import requests
import time
from lxml import etree
urls = ['https://www.baidu.com','http://www.taobao.com/','http://www.jd.com/','https://www.sogou.com/']
headers={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
}
# 特殊函數
async def get_request(url):
    print('正在下載',url)
    page_text = requests.get(url,headers=headers).text
    print(url,'下載完成')
    return page_text

# 回調函數
def parse(task):
    page_text = task.result()
    tree = etree.HTML(page_text)
    div = tree.xpath('//div')
    print(div)

start = time.time()
tasks = []#存放多任務
for url in urls:
    func = get_request(url)
    task = asyncio.ensure_future(func)
    task.add_done_callback(parse)
    tasks.append(task)

# 創建事件要在迴圈外
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

print('總耗時:',time.time()-start)

#根據結果發現執行並不是非同步,原因是requests不是非同步模塊,所以整個程式不會非同步執行

基於aiohttp的多任務協程的爬蟲

# 需求用多任務非同步協程獲取百度,搜狗,京東,淘寶的頁面源碼數據,並簡答解析
import asyncio
import requests
import time
import aiohttp
from lxml import etree
urls = ['https://www.baidu.com','http://www.taobao.com/','http://www.jd.com/','https://www.sogou.com/']
headers={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
}
# 特殊函數
async def get_request(url):
    async with aiohttp.ClientSession() as s:
        # s.get(url,headers,params,proxy="http://ip:port")
        async with await s.get(url,headers=headers) as response:
            print('正在下載', url)
            # response.read()二進位(.content)
            page_text = await response.text()
            print(url, '下載完成')
            return page_text

# 回調函數
def parse(task):
    page_text = task.result()
    tree = etree.HTML(page_text)
    div = tree.xpath('//div')
    print(div)

start = time.time()
tasks = []#存放多任務
for url in urls:
    func = get_request(url)
    task = asyncio.ensure_future(func)
    task.add_done_callback(parse)
    tasks.append(task)

# 創建事件要在迴圈外
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

print('總耗時:',time.time()-start) #總耗時: 3.0848371982574463

您的分享是我們最大的動力!

更多相關文章
  • 利用JavaFX設計一個井字棋游戲,其中包括了能夠與玩家對戰的AI。AI的實現相比五子棋來說要簡單得多,可以保證AI在後手情況下絕對不會輸,具體實現如下: /* * To change this license header, choose License Headers in Project Pr ...
  • 說在前面 我覺得沒有什麼錯誤是調試器無法解決的,如果沒有,那我再說一遍,如果有,那當我沒說 一、拋出異常 可以通過 raise 語句拋出異常,使程式在我們已經知道的缺陷處停下,併進入到 except 語句 raise句法: raise關鍵字 調用的異常函數名 ValueError (這個函數必須是異 ...
  • 一.賦值即定義 1.運行以下代碼會出現報錯 2.使用global關鍵字解決以上報錯 3.不推薦使用global global總結 x+=1這種是特殊形式產生的錯誤的原因?先引用後賦值,而python動態語言是賦值才算定義,才能被引用。解決辦法,在這條語句前增加x=0之類的賦值語句,或者使用globa ...
  • 作者:陳皓 (@左耳朵耗子) | 編輯:玲玲 來源:https://dwz.cn/YELpxqyC 對,你沒看錯,本文就是教你怎麼寫出讓同事無法維護的代碼。 一、程式命名 1、容易輸入的變數名。比如:Fred,asdf 2、單字母的變數名。比如:a,b,c, x,y,z(如果不夠用,可以考慮a1,a ...
  • 1 開發需要環境 工欲善其事,必先利其器。在正式開發之前我們檢查好需要安裝的拓展,不要開發中發現這些問題,打斷思路影響我們的開發效率。 安裝 swoole 拓展包 安裝 redis 拓展包 安裝 laravel5.5 版本以上 如果你還不會用swoole就out了 2 Laravel 生成命令行 p ...
  • 投資機構或電商企業等積累的客戶交易數據繁雜。需要根據用戶的以往消費記錄分析出不同用戶群體的特征與價值,再針對不同群體提供不同的營銷策略。 用戶分析指標 根據美國資料庫營銷研究所Arthur Hughes的研究,客戶資料庫中有三個神奇的要素,這三個要素構成了數據分析最好的指標 R-最近一次消費(Rec ...
  • 前言本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯繫我們以作處理。作者:bihl 直接上代碼,哈哈!! from urllib import request import os from user_agents import ua_list i ...
  • 前言 這兩三年項目中一直在使用比較流行的spring cloud框架,也算有一定積累,打算有時間就整理一些乾貨與大家分享。 本次分享zuul網關集成jwt身份驗證 業務背景 項目開發少不了身份認證,jwt作為當下比較流行的身份認證方式之一主要的特點是無狀態,把信息放在客戶端,伺服器端不需要保存ses ...
一周排行
  • 比如要拆分“呵呵呵90909086676喝喝999”,下麵當type=0返回的是中文字元串“呵呵呵,喝喝”,type=1返回的是數字字元串“90909086676,999”, private string GetStrings(string str,int type=0) { IList<strin ...
  • Swagger一個優秀的Api介面文檔生成工具。Swagger可以可以動態生成Api介面文檔,有效的降低前後端人員關於Api介面的溝通成本,促進項目高效開發。 1、使用NuGet安裝最新的包:Swashbuckle.AspNetCore。 2、編輯項目文件(NetCoreTemplate.Web.c ...
  • 2020 年 7 月 30 日, 由.NET基金會和微軟 將舉辦一個線上和為期一天的活動,包括 微軟 .NET 團隊的演講者以及社區的演講者。本次線上大會 專註.NET框架構建微服務,演講者分享構建和部署雲原生應用程式的最佳實踐、模式、提示和技巧。有關更多信息和隨時瞭解情況:https://focu... ...
  • #abp框架Excel導出——基於vue #1.技術棧 ##1.1 前端採用vue,官方提供 UI套件用的是iview ##1.2 後臺是abp——aspnetboilerplate 即abp v1,https://github.com/aspnetboilerplate/aspnetboilerp ...
  • 前言 本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯繫我們以作處理。 作者:碧茂大數據 PS:如有需要Python學習資料的小伙伴可以加下方的群去找免費管理員領取 input()輸入 Python提供了 input() 內置函數從標準輸入讀入一 ...
  • 從12年到20年,python以肉眼可見的趨勢超過了java,成為了當今It界人人皆知的編程語言。 python為什麼這麼火? 網路編程語言搜索指數 適合初學者 Python具有語法簡單、語句清晰的特點,這就讓初學者在學習階段可以把精力集中在編程對象和思維方法上。 大佬都在用 Google,YouT ...
  • 在社會上存在一種普遍的對培訓機構的學生一種歧視的現象,具體表現在,比如:當你去公司面試的時候,一旦你說了你是培訓機構出來的,那麼基本上你就涼了,那麼你瞞著不說,然後又通過了面試成功入職,但是以後一旦在公司被髮現有培訓經歷,可能會面臨被降薪,甚至被辭退,培訓機構出來的學生,在用人單位眼裡就是能力低下的 ...
  • from typing import List# 這道題看了大佬寫的代碼,經過自己的理解寫出來了。# 從最外圍的四周找有沒有為O的,如果有的話就進入深搜函數,然後深搜遍歷# 判斷上下左右的位置是否為Oclass Solution: def solve(self, board: List[List[s ...
  • import requests; import re; import os; # 1.請求網頁 header = { "user-agent":'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, li ...
  • import requests; import re; import os; import parsel; 1.請求網頁 header = { "user-agent":'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537. ...