Generator(生成器),入門初基,Coroutine(原生協程),登峰造極,Python3.10併發非同步編程async底層實現

来源:https://www.cnblogs.com/v3ucn/archive/2022/12/28/17009372.html
-Advertisement-
Play Games

普遍意義上講,生成器是一種特殊的迭代器,它可以在執行過程中暫停併在恢復執行時保留它的狀態。而協程,則可以讓一個函數在執行過程中暫停併在恢復執行時保留它的狀態,在Python3.10中,原生協程的實現手段,就是生成器,或者說的更具體一些:協程就是一種特殊的生成器,而生成器,就是協程的入門心法。 協程底 ...


普遍意義上講,生成器是一種特殊的迭代器,它可以在執行過程中暫停併在恢復執行時保留它的狀態。而協程,則可以讓一個函數在執行過程中暫停併在恢復執行時保留它的狀態,在Python3.10中,原生協程的實現手段,就是生成器,或者說的更具體一些:協程就是一種特殊的生成器,而生成器,就是協程的入門心法。

協程底層實現

我們知道,Python3.10中可以使用async和await關鍵字來實現原生協程函數的定義和調度,但其實,我們也可以利用生成器達到協程的效果,生成器函數和普通函數的區別在於,生成器函數使用 yield 語句來暫停執行並返回結果。例如,下麵是一個使用生成器函數實現的簡單協程:

def my_coroutine():  
    while True:  
        x = yield  
        print(x)  
  
# 使用生成器函數創建協程  
coroutine = my_coroutine()  
  
# 啟動協程  
next(coroutine)  
  
# 在協程中傳入數據  
coroutine.send(1)  
coroutine.send(2)  
coroutine.send(3)

程式返回:

➜  mydemo git:(master) ✗ /opt/homebrew/bin/python3.10 "/Users/liuyue/wodfan/work/mydemo/src/test.py"  
1  
2  
3

在上面的代碼中,生成器函數 my_coroutine 使用了一個無限迴圈來實現協程的邏輯。每當調用 send 方法時,協程就會從 yield 語句處恢復執行,並將傳入的參數賦值給變數 x。

如此,就完成了協程執行-》阻塞-》切換-》回調的工作流模式。

當然,作為事件迴圈機制,協程服務啟動可能無限期地運行,要關閉協程服務,可以使用生成器的close()方法。當一個協程被關閉時,它會生成GeneratorExit異常,該異常可以用生成器的方式進行捕獲:

def my_coroutine():  
    try :  
        while True:  
            x = yield  
            print(x)  
    except GeneratorExit:  
            print("協程關閉")  
  
# 使用生成器函數創建協程  
coroutine = my_coroutine()  
  
# 啟動協程  
next(coroutine)  
  
# 在協程中傳入數據  
coroutine.send(1)  
coroutine.send(2)  
coroutine.send(3)  
  
coroutine.close()

程式返回:

➜  mydemo git:(master) ✗ /opt/homebrew/bin/python3.10 "/Users/liuyue/wodfan/work/mydemo/src/test.py"  
1  
2  
3  
協程關閉

業務場景

在實際業務場景中,我們也可以使用生成器來模擬協程流程,主要體現在數據的IO流操作中,假設我們需要從本地往伺服器傳輸數據,首先建立鏈接對象:

class Connection:  
  
  
    def __init__(self, addr):  
        self.addr = addr  
  
    def transmit(self, data):  
        print(f"X: {data[0]}, Y: {data[1]} sent to {self.addr}")

隨後建立生成器函數:

def send_to_server(conn):  
    while True:  
        try:  
            raw_data = yield  
            raw_data = raw_data.split(' ')  
            coords = (float(raw_data[0]), float(raw_data[1]))  
            conn.transmit(coords)  
        except ConnectionError:  
            print("鏈接丟失,進行回調")  
            conn = Connection("重新連接v3u.cn")

利用生成器調用鏈接類的transmit方法進行數據的模擬傳輸,如果鏈接斷開,則會觸發回調重新連接,執行邏輯:

if __name__ == '__main__':  
  
  
    conn = Connection("v3u.cn")  
  
    sender = send_to_server(conn)  
    sender.send(None)  
  
    for i in range(1, 6):  
        sender.send(f"{100/i} {200/i}")  
  
    # 模擬鏈接斷開  
    conn.addr = None  
  
  
    sender.throw(ConnectionError)   
  
    for i in range(1, 6):  
        sender.send(f"{100/i} {200/i}")

程式返回:

X: 100.0, Y: 200.0 sent to v3u.cn  
X: 50.0, Y: 100.0 sent to v3u.cn  
X: 33.333333333333336, Y: 66.66666666666667 sent to v3u.cn  
X: 25.0, Y: 50.0 sent to v3u.cn  
X: 20.0, Y: 40.0 sent to v3u.cn  
鏈接丟失,進行回調  
X: 100.0, Y: 200.0 sent to 重新連接v3u.cn  
X: 50.0, Y: 100.0 sent to 重新連接v3u.cn  
X: 33.333333333333336, Y: 66.66666666666667 sent to 重新連接v3u.cn  
X: 25.0, Y: 50.0 sent to 重新連接v3u.cn  
X: 20.0, Y: 40.0 sent to 重新連接v3u.cn

如此,我們就可以利用生成器的“狀態保留”機制來控制網路鏈接突然斷開的回調補救措施了。

所以說,協程就是一種特殊的生成器:

async def test():  
    pass  
  
print(type(test())) 

您猜怎麼著?

<class 'coroutine'>

結語

誠然,生成器和協程也並非完全是一個概念,與生成器不同的是,協程可以被另一個函數(稱為調用方)恢復執行,而不是只能由生成器本身恢復執行。這使得協程可以用來實現更複雜的控制流,因為它們可以在執行時暫停併在任意時刻恢復執行。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 剛上大學的表弟問我,大學準備好好玩玩,問我有沒有什麼不掛科的秘訣。 哎,這可就問對人了,要想不掛科,先把老師賄賂好,當然,咱們說的賄賂不是送錢啥的,這不是侮辱老師嗎? 於是我連夜給表弟寫了一個課堂點名系統,讓他給每個任課老師都送一遍,方便老師就是方便自己,嘿嘿~ 準備工作 首先我們需要準備好點名的姓 ...
  • 1. 三大組件簡介 Channel 與 Buffer Java NIO 系統的核心在於:通道 (Channel) 和緩衝區 (Buffer)。通道表示打開到 IO 設備 (例如:文件、套接字) 的連接。若需要使用 NIO 系統,需要獲取用於連接 IO 設備的通道 以及用於容納數據的緩衝區。然後操作緩 ...
  • 在 C/C++ 中,聯合體(Union)是一種構造數據類型。在一個聯合體內,我們可以定義多個不同類型的成員,這些成員將會共用同一塊記憶體空間。老版本的 C++ 為了和C語言保持相容,對聯合體的數據成員的類型進行了很大程度的限制,這些限制在今天看來並沒有必要,因此 C++11 取消了這些限制。 C++1 ...
  • HashMap是Java中用於實現映射關係的一種數據結構。它允許將一個對象(稱為鍵)映射到另一個對象(稱為值)。當需要訪問值時,可以使用鍵來查找值。 HashMap的實現原理是使用散列函數將鍵映射到表中的桶(也稱為桶位置)。每個桶都包含了一些鍵值對,這些鍵值對按照鍵的散列值存儲在桶中。 當向Hash ...
  • 作者:小目標青年 來源:https://blog.csdn.net/qq_35387940/article/details/125921218 前言 不建議使用 select * 這幾個字眼,做開發的都不陌生吧。 阿裡的開發手冊上面也是有提到: 這個完整版可以關註公眾號Java核心技術,然後在公眾號 ...
  • 前言 今天給大家介紹的是Python爬取小說數據並保存txt文檔,在這裡給需要的小伙伴們代碼,並且給出一點小心得。 首先是爬取之前應該儘可能偽裝成瀏覽器而不被識別出來是爬蟲,基本的是加請求頭,但是這樣的純文本數據爬取的人會很多,所以我們需要考慮更換代理IP和隨機更換請求頭的方式來對小說數據進行爬取。 ...
  • 一、前言 在數據量大的企業級實踐中,Elasticsearch顯得非常常見,特別是數據表超過千萬級後,無論怎麼優化,還是有點力不從心!使用中,最首先的問題就是怎麼把千萬級數據同步到Elasticsearch中,在一些開源框架中知道了,有專門進行同步的!那就是Logstash 。在思考,同步完怎麼查看 ...
  • 介面組成更新 介面的組成:常量,抽象方法 Java8之前 常量:public static final 抽象方法:public abstract 預設方法(Java8) 靜態方法(Java8) 私有方法(Java9) 介面中預設方法(Java8) 介面中預設方法的格式: 格式:public defa ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...