python高級編程——進程和進程池

来源:https://www.cnblogs.com/aitiknowledge/archive/2019/08/29/11429285.html
-Advertisement-
Play Games

python提供了一個跨平臺的多進程支持——multiprocessing模塊,其包含Process類來代表一個進程對象 1、Process語法結構:(註: 傳參的時候一定使用關鍵字傳參) 2、自定義進程類:需要繼承Process類 自定義類的時候必須註意的事項: 第一,必須繼承Process類的構 ...


python提供了一個跨平臺的多進程支持——multiprocessing模塊,其包含Process類來代表一個進程對象

  1、Process語法結構:(註: 傳參的時候一定使用關鍵字傳參

 

2、自定義進程類:需要繼承Process類        自定義類的時候必須註意的事項:             第一,必須繼承Process類的構造方法             第二,必須重寫Process類的run()方法             第三,不能用實例化對象直接調用run()方法,而是調用start()方法             第四,在進程改變實例化對象的數據時,這個數據是被隔離的,即改變數據不成功
# 自定義進程類
class ProcessClass(Process):
    g_num = 100

    def __init__(self, interval):
        # 這行代碼必須添加上
        super().__init__()
        self.interval = interval
        self.result = "初始化"

    def run(self):
        global g_num
        g_num = 120
        print("子進程{},開始執行,父進程為{}".format(os.getpid(), os.getppid()))
        start = time.time()
        time.sleep(2)
        stop = time.time()
        print("{}執行結束,耗時{:0.2f}秒".format(os.getpid(), stop-start))
        self.result = "運行之後的結果"


if __name__ == "__main__":
    t_start = time.time()
    print("當前進程{}".format(os.getpid()))
    p = ProcessClass(2)
    p.start()
    p.join()
    t_stop = time.time()
    # 數據隔離
    print("子進程 任務 運行結果:", p.result)   # -----> 初始化 數據未改變
    print(ProcessClass.g_num)    # ------>100  數據未改變
    print("(%s)執行結束,耗時%0.2f" % (os.getpid(), t_stop - t_start))

 

  3、進程間的通信             像之前改變數據,就要使用到進程間的通信,可以使用multiprocessing模塊的Queue類來實現進程間的通信             Queue的常用方法:                  qsize(): 返回當前隊列包含的消息(數據)數量                  empty():如果隊列為空,返回True,否則False                  full():如果隊列滿了,返回True,否則False                  get() 或者 put()分別時阻塞式獲取 或者 阻塞式存儲隊列的一條消息(數據),然後獲取 或者 添加這條消息,如果隊列為空 或者 隊列滿了,在運行的過程阻塞                  get_nowait() 或者 put_nowait()分別時非阻塞式獲取 或者 非阻塞式存儲隊列的一條消息(數據),然後移除 和 添加這條消息,如果隊列為空 或者 隊列滿了,會拋出相應的異常

    實例如下:

# 自定義進程類
class ProcessClass(Process):
    g_num = 100

    def __init__(self, interval, q):
        # 這行代碼必須添加上
        super().__init__()
        self.interval = interval
        self.result = "初始化"
        # 初始化一個隊列實例化對象
        self.q = q

    def run(self):
        global g_num
        g_num = 120
        print("子進程{},開始執行,父進程為{}".format(os.getpid(), os.getppid()))
        start = time.time()
        time.sleep(self.interval)
        stop = time.time()
        print("{}執行結束,耗時{:0.2f}秒".format(os.getpid(), stop-start))
        self.result = "運行之後的結果"
        # 將消息(數據)添加到隊列中
        self.q.put(g_num)
        self.q.put(self.result)

    def get_data(self):
        return self.result


if __name__ == "__main__":
    # 初始化一個隊列實例化對象,參數為隊列的長度
    queues = Queue(5)
    print("當前進程{}".format(os.getpid()))
    p = ProcessClass(2, queues)
    t_start = time.time()
    p.start()
    p.join()
    t_stop = time.time()
    # 數據隔離
    print("子進程 任務 運行結果:", p.get_data())   # -----> 初始化 數據未改變
    print(ProcessClass.g_num)  # ------>100  數據未改變
    print("子進程 任務 運行結果:", queues.get())  # -----> 120 數據未改變
    print("子進程 任務 運行結果:", queues.get())  # -----> 運行之後的結果 數據未改變
    print("(%s)執行結束,耗時%0.2f" % (os.getpid(), t_stop - t_start))
  4、進程池:           如果進程有成千上萬個,手動創建進程的工作量巨大,這個時候應該用到multiprocessing模塊中的Pool類           這個類下有幾個方法比較常用:           apply_async(func[, args[, kwds]]) :使用非阻塞方式調用func(並行執行 ,堵塞方式必須等待上一個進程退出才能執行下一個進程),args為傳遞給 func的參數列表,kwds為傳遞給func的關鍵字參數列表;           apply(func[, args[, kwds]]):使用阻塞方式調用func  close():關閉Pool,使其不再接受新的任務;             terminate():不管任務是否完成,立即終止;           join():主進程阻塞,等待子進程的退出, 必須在close或terminate之後使用 主要實例:
# 進程池
def worker(msg):
    start = time.time()
    print("{}開始執行,進程號為{}".format(msg, os.getpid()))
    # random.random()生成0~1之間的隨機數
    time.sleep(random.random()*3)
    # time.sleep(3)
    stop = time.time()
    print(msg, "執行完畢,耗時{:.2f}".format(stop-start))


if __name__ == "__main__":
    # 定義一個進程池,最大數為3
    po = Pool(3)
    for i in range(10):
        # 非阻塞式操作Pool.apply_async(要調用的目標,(傳遞給目標的參數元組,))
        # 每次迴圈將會用空閑出來的子進程去調用目標
        po.apply_async(worker, (i, ))
        # 阻塞式操作
        # po.apply(worker, (i, ))
    print("start".center(24, "-"))
    po.close()
    po.join()
    print("end".center(24, "-"))

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、校驗數字的表達式 二、校驗字元的表達式 有四種錢的表示形式我們可以接受:"10000.00" 和 "10,000.00", 和沒有 "分" 的 "10000" 和 "10,000":^[1-9][0-9]$ 1到3個數字,後面跟著任意個 逗號+3個數字,逗號成為可選,而不是必須:^([0-9]+ ...
  • 記錄了自定義博客園的過程。 js框架學習了這位博主分享的主題中的交互代碼,包括頁面標題設置,回到頂部和評論區頭像載入。 "Silence 專註於閱讀的博客園主題" 在此表示感謝。 佈局和樣式定義 禁用了原本的標題欄和導航欄,在頁首自定義html中自己寫了標題欄和導航欄。導航欄中的關於我的頁面還沒寫, ...
  • 在開發微信小程式或者微信網頁H5的時候,有時我們利用外部組件可能不相容這兩者,需要區分開來,可以在對應的mainjs中配置如下 代碼解釋: 在微信小程式中 wx作為全局變數能夠在任何界面中使用,而在chrome中,wx則為undefined,然後給Vue這個構造函數的原型增加一個屬性,每個頁面都能夠 ...
  • "推薦在這裡閱讀" 9012年都過半了,還不會用ts你就out了 why ? 1. 三大框架angular2以後的版本完全是用ts開發的, 2. vue對ts的支持也越來越好, 3. React也有TSX組件 還在猶豫什麼 本文不涉及框架內容,因為框架的cli已經幫你搭好了ts環境。。。 本文只教你 ...
  • 一、小案例分析 1、功能需求: 以電源適配器為例。 一個人去外國旅游,住在外國某賓館,恰好手機沒電(手機是雙孔插頭),但外國賓館只有三孔插座,賓館一般不可能為了旅客,將三孔插座換成雙孔插座,此時適配器就派上用場了,將雙孔插頭轉成三孔插頭,即可滿足要求。 2、什麼是適配器模式: 適配器模式是一種結構型 ...
  • 本文由葡萄城技術團隊於博客園原創並首發 轉載請註明出處:葡萄城官網,葡萄城為開發者提供專業的開發工具、解決方案和服務,賦能開發者。 在開始之前,我想您一定會有這樣的困惑:標題里的Electron 是什麼?Electron能做什麼?許多偉大的公司使用Electron框架的原因又是什麼? 帶著這些問題和 ...
  • python判斷字元串中是否包含子字元串 s = '1234問沃爾沃434' if s.find('沃爾沃') != -1: print('存在') else: print('不存在') ...
  • 一. 什麼是IoC 當在A類中要使用B類的時候,我們一般都是採用new的方式來實例化B類,這樣一來這兩個類就有很強的依賴關係,不符合低耦合的設計思想。這時候我們可以通過一個中間容器來實例化對象,需要的時候就可以通過容器獲取一個B類的對象。這種思想就是IoC(控制反轉),其實我覺得叫控制轉移更為合適, ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...