Python生成器深度解析:構建強大的數據處理管道

来源:https://www.cnblogs.com/xfuture/archive/2023/06/05/17458741.html
-Advertisement-
Play Games

# 前言 生成器是Python的一種核心特性,允許我們在請求新元素時再生成這些元素,而不是在開始時就生成所有元素。它在處理大規模數據集、實現節省記憶體的演算法和構建複雜的迭代器模式等多種情況下都有著廣泛的應用。在本篇文章中,我們將從理論和實踐兩方面來探索Python生成器的深度用法。 ## 生成器的定義 ...


前言

生成器是Python的一種核心特性,允許我們在請求新元素時再生成這些元素,而不是在開始時就生成所有元素。它在處理大規模數據集、實現節省記憶體的演算法和構建複雜的迭代器模式等多種情況下都有著廣泛的應用。在本篇文章中,我們將從理論和實踐兩方面來探索Python生成器的深度用法。

生成器的定義和基本操作

生成器是一種特殊的迭代器,它們的創建方式是在函數定義中包含yield關鍵字。當這個函數被調用時,它返回一個生成器對象,該對象可以使用next()函數或for迴圈來獲取新的元素。

def simple_generator():
    yield "Python"
    yield "is"
    yield "awesome"

# 創建生成器
gen = simple_generator()

# 使用next函數獲取元素
print(next(gen))  # 輸出: Python
print(next(gen))  # 輸出: is
print(next(gen))  # 輸出: awesome

# 使用for迴圈獲取元素
for word in simple_generator():
    print(word)

# 輸出:
# Python
# is
# awesome

當生成器耗盡(即沒有更多元素產生)時,再次調用next()函數將引發StopIteration異常。這個異常可以由我們手動捕獲,或者由for迴圈自動處理。

生成器的惰性求值和記憶體優勢

生成器的主要優勢之一是它們的惰性求值特性。也就是說,生成器只在需要時才計算和產生元素。這使得生成器在處理大規模數據時,可以大大降低記憶體使用量。與傳統的數據結構(如列表)相比,生成器不需要在記憶體中存儲所有元素,而是在每次迭代時動態計算出新的元素。

這種特性使得生成器在處理大規模數據流、實現複雜的演算法或構建動態的數據管道等場景中具有顯著的優勢。

# 無限序列生成器
def infinite_sequence():
    num = 0
    while True:
        yield num
        num += 1

# 創建生成器
seq = infinite_sequence()

# 輸出前10個元素
for i in range(10):
    print(next(seq))  

# 輸出:
# 0
# 1
# 2
# 3
# 4
# 5
# 6
# 7
# 8
# 9

在這個例子中,infinite_sequence是一個永不停止的生成器。儘管它可以產生無窮多的元素,但由於生成器的惰性求值特性,它並不會導致記憶體

耗盡。

生成器表達式

生成器表達式是創建生成器的一種更簡潔的方式。它們與列表推導式的語法相似,但是生成的是一個生成器對象,而不是一個完整的列表。這使得生成器表達式在處理大規模數據時可以節省大量的記憶體。

# 創建一個生成器表達式
gen_expr = (x**2 for x in range(1000000))

# 輸出前10個元素
for i in range(10):
    print(next(gen_expr))

# 輸出:
# 0
# 1
# 4
# 9
# 16
# 25
# 36
# 49
# 64
# 81

在這個例子中,gen_expr是一個生成器表達式,它可以生成10^6個元素的平方數。但是,由於生成器表達式的惰性求值特性,它並不會在記憶體中生成和存儲所有這些元素。

生成器和協程

Python的生成器還可以作為協程使用。協程是一種特殊類型的函數,它可以在其執行過程中掛起和恢復,從而在單個線程中實現多任務協作式併發。這使得我們可以使用生成器來實現複雜的控制流程,如併發編程、非同步IO等。

def coroutine_generator():
    print("Starting")
    while True:
        value = (yield)
        print(f"Received: {value}")

# 創建生成器
gen = coroutine_generator()

# 啟動生成器
next(gen)  # 輸出: Starting

# 向生成器發送數據
gen.send("Hello")  # 輸出: Received: Hello
gen.send("Python")  # 輸出: Received: Python

# 關閉生成器
gen.close()

在這個例子中,coroutine_generator是一個協程生成器。我們可以使用send()函數向它發送數據,生成器在收到數據後將其列印出來。

結語

生成器是Python中一種非常強大的工具,它讓我們能夠以更高效和簡潔的方式處理複雜的問題。熟練掌握生成器的使用,將使你在Python編程中具有更高的自由度和更強的實力。

One More Thing...

在Python的標準庫itertools中,有一個函數itertools.islice,它可以用來對生成器進行切片操作,就像我們對列表進行切片那樣。這在處理大規模數據流時非常有用。

import itertools

# 無限序列生成器
def infinite_sequence():
    num = 0
    while True:
        yield num
        num += 1

# 創建生成器
seq = infinite_sequence()

# 對生成器進行切片操作
sliced_seq = itertools.islice(seq, 5, 10)

# 輸出切片後的元素
for num in sliced_seq:
    print(num)

# 輸出:
# 5
# 6
#

 7
# 8
# 9

在這個例子中,我們使用itertools.islice函數對無限序列生成器seq進行了切片操作,獲取了序列的第5個到第10個元素(從0開始計數)。這讓我們能夠在不消耗大量記憶體的情況下,靈活地處理大規模的數據流。


希望這篇深度解析Python生成器的文章對你有所幫助,如果你對生成器有任何疑問或想要瞭解更多關於Python的知識,歡迎在下方留言討論。

如有幫助,請多關註
個人微信公眾號:【Python全視角】
TeahLead_KrisChang,10+年的互聯網和人工智慧從業經驗,10年+技術和業務團隊管理經驗,同濟軟體工程本科,復旦工程管理碩士,阿裡雲認證雲服務資深架構師,上億營收AI產品業務負責人。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • # 第一章:瞭解(chapter) ## 複習方法: 找到視頻 每個章節 結合筆記。 https://www.bilibili.com/video/BV1fh411y7R8?p=266&spm_id_from=pageDriver&vd_source=5c60787a1cdddc0e6d23d53b ...
  • # 演算法 in Go:Binary Search(二分查找) ## Binary Search(二分查找) ### Binary Search(二分查找) - 猜數 - 1、2、3、4、5、6、7、8 - 排好序一個集合,先從中間開始猜,根據提示就可以排除一半,在剩餘的一半里,再從中間開始猜,依此類 ...
  • # SpringCloud Sleuth+Zipkin-鏈路追蹤 官網:[spring-cloud/spring-cloud-sleuth: Distributed tracing for spring cloud (github.com)](https://github.com/spring-cl ...
  • # 對象流ObjectInputStream和ObjectOutputStream ## 引言 - 看一個需求 1. 將int num=100這個 int 數據保存到文件中,註意不是 100 數字,而是 int 100,並且,能夠從文件中直接恢復 int 100; 2. 將Dog dog = new ...
  • 某日二師兄參加XXX科技公司的C++工程師開發崗位6面: > 面試官: 如何在堆上申請一塊記憶體? > > 二師兄:常用的方法有malloc,new等。 > > 面試官:兩者有什麼區別? > > 二師兄:malloc是向操作系統申請一塊記憶體,這塊記憶體沒有經過初始化,通常需要使用memset手動初始化。 ...
  • # BufferedInputStream 和 BufferedOutputStream - BufferedInputStream ![](https://img2023.cnblogs.com/blog/3008601/202306/3008601-20230604103033021-44120 ...
  • 大家好,我3y啊。由於去重邏輯重構了幾次,好多股東直呼看不懂,於是我今天再安排一波對代碼的解析吧。`austin`支持兩種去重的類型:**N分鐘相同內容達到N次**去重和**一天內N次相同渠道頻次**去重。 > **Java開源項目消息推送平臺🔥推送下發【郵件】【簡訊】【微信服務號】【微信小程式】 ...
  • # 節點流 和 處理流 [TOC] - **節點流和處理流一覽圖:** ![img](https://img-blog.csdnimg.cn/img_convert/8ca5f4f2e434e5c05149bcb7ebc281a8.png) ​ 【圖片來源】http://t.csdn.cn/d52a ...
一周排行
    -Advertisement-
    Play Games
  • Dapr Outbox 是1.12中的功能。 本文只介紹Dapr Outbox 執行流程,Dapr Outbox基本用法請閱讀官方文檔 。本文中appID=order-processor,topic=orders 本文前提知識:熟悉Dapr狀態管理、Dapr發佈訂閱和Outbox 模式。 Outbo ...
  • 引言 在前幾章我們深度講解了單元測試和集成測試的基礎知識,這一章我們來講解一下代碼覆蓋率,代碼覆蓋率是單元測試運行的度量值,覆蓋率通常以百分比表示,用於衡量代碼被測試覆蓋的程度,幫助開發人員評估測試用例的質量和代碼的健壯性。常見的覆蓋率包括語句覆蓋率(Line Coverage)、分支覆蓋率(Bra ...
  • 前言 本文介紹瞭如何使用S7.NET庫實現對西門子PLC DB塊數據的讀寫,記錄了使用電腦模擬,模擬PLC,自至完成測試的詳細流程,並重點介紹了在這個過程中的易錯點,供參考。 用到的軟體: 1.Windows環境下鏈路層網路訪問的行業標準工具(WinPcap_4_1_3.exe)下載鏈接:http ...
  • 從依賴倒置原則(Dependency Inversion Principle, DIP)到控制反轉(Inversion of Control, IoC)再到依賴註入(Dependency Injection, DI)的演進過程,我們可以理解為一種逐步抽象和解耦的設計思想。這種思想在C#等面向對象的編 ...
  • 關於Python中的私有屬性和私有方法 Python對於類的成員沒有嚴格的訪問控制限制,這與其他面相對對象語言有區別。關於私有屬性和私有方法,有如下要點: 1、通常我們約定,兩個下劃線開頭的屬性是私有的(private)。其他為公共的(public); 2、類內部可以訪問私有屬性(方法); 3、類外 ...
  • C++ 訪問說明符 訪問說明符是 C++ 中控制類成員(屬性和方法)可訪問性的關鍵字。它們用於封裝類數據並保護其免受意外修改或濫用。 三種訪問說明符: public:允許從類外部的任何地方訪問成員。 private:僅允許在類內部訪問成員。 protected:允許在類內部及其派生類中訪問成員。 示 ...
  • 寫這個隨筆說一下C++的static_cast和dynamic_cast用在子類與父類的指針轉換時的一些事宜。首先,【static_cast,dynamic_cast】【父類指針,子類指針】,兩兩一組,共有4種組合:用 static_cast 父類轉子類、用 static_cast 子類轉父類、使用 ...
  • /******************************************************************************************************** * * * 設計雙向鏈表的介面 * * * * Copyright (c) 2023-2 ...
  • 相信接觸過spring做開發的小伙伴們一定使用過@ComponentScan註解 @ComponentScan("com.wangm.lifecycle") public class AppConfig { } @ComponentScan指定basePackage,將包下的類按照一定規則註冊成Be ...
  • 操作系統 :CentOS 7.6_x64 opensips版本: 2.4.9 python版本:2.7.5 python作為腳本語言,使用起來很方便,查了下opensips的文檔,支持使用python腳本寫邏輯代碼。今天整理下CentOS7環境下opensips2.4.9的python模塊筆記及使用 ...