python高級編程——進程和進程池

来源:https://www.cnblogs.com/aitiknowledge/archive/2019/08/29/11429285.html
-Advertisement-
Play Games

python提供了一個跨平臺的多進程支持——multiprocessing模塊,其包含Process類來代表一個進程對象 1、Process語法結構:(註: 傳參的時候一定使用關鍵字傳參) 2、自定義進程類:需要繼承Process類 自定義類的時候必須註意的事項: 第一,必須繼承Process類的構 ...


python提供了一個跨平臺的多進程支持——multiprocessing模塊,其包含Process類來代表一個進程對象

  1、Process語法結構:(註: 傳參的時候一定使用關鍵字傳參

 

2、自定義進程類:需要繼承Process類        自定義類的時候必須註意的事項:             第一,必須繼承Process類的構造方法             第二,必須重寫Process類的run()方法             第三,不能用實例化對象直接調用run()方法,而是調用start()方法             第四,在進程改變實例化對象的數據時,這個數據是被隔離的,即改變數據不成功
# 自定義進程類
class ProcessClass(Process):
    g_num = 100

    def __init__(self, interval):
        # 這行代碼必須添加上
        super().__init__()
        self.interval = interval
        self.result = "初始化"

    def run(self):
        global g_num
        g_num = 120
        print("子進程{},開始執行,父進程為{}".format(os.getpid(), os.getppid()))
        start = time.time()
        time.sleep(2)
        stop = time.time()
        print("{}執行結束,耗時{:0.2f}秒".format(os.getpid(), stop-start))
        self.result = "運行之後的結果"


if __name__ == "__main__":
    t_start = time.time()
    print("當前進程{}".format(os.getpid()))
    p = ProcessClass(2)
    p.start()
    p.join()
    t_stop = time.time()
    # 數據隔離
    print("子進程 任務 運行結果:", p.result)   # -----> 初始化 數據未改變
    print(ProcessClass.g_num)    # ------>100  數據未改變
    print("(%s)執行結束,耗時%0.2f" % (os.getpid(), t_stop - t_start))

 

  3、進程間的通信             像之前改變數據,就要使用到進程間的通信,可以使用multiprocessing模塊的Queue類來實現進程間的通信             Queue的常用方法:                  qsize(): 返回當前隊列包含的消息(數據)數量                  empty():如果隊列為空,返回True,否則False                  full():如果隊列滿了,返回True,否則False                  get() 或者 put()分別時阻塞式獲取 或者 阻塞式存儲隊列的一條消息(數據),然後獲取 或者 添加這條消息,如果隊列為空 或者 隊列滿了,在運行的過程阻塞                  get_nowait() 或者 put_nowait()分別時非阻塞式獲取 或者 非阻塞式存儲隊列的一條消息(數據),然後移除 和 添加這條消息,如果隊列為空 或者 隊列滿了,會拋出相應的異常

    實例如下:

# 自定義進程類
class ProcessClass(Process):
    g_num = 100

    def __init__(self, interval, q):
        # 這行代碼必須添加上
        super().__init__()
        self.interval = interval
        self.result = "初始化"
        # 初始化一個隊列實例化對象
        self.q = q

    def run(self):
        global g_num
        g_num = 120
        print("子進程{},開始執行,父進程為{}".format(os.getpid(), os.getppid()))
        start = time.time()
        time.sleep(self.interval)
        stop = time.time()
        print("{}執行結束,耗時{:0.2f}秒".format(os.getpid(), stop-start))
        self.result = "運行之後的結果"
        # 將消息(數據)添加到隊列中
        self.q.put(g_num)
        self.q.put(self.result)

    def get_data(self):
        return self.result


if __name__ == "__main__":
    # 初始化一個隊列實例化對象,參數為隊列的長度
    queues = Queue(5)
    print("當前進程{}".format(os.getpid()))
    p = ProcessClass(2, queues)
    t_start = time.time()
    p.start()
    p.join()
    t_stop = time.time()
    # 數據隔離
    print("子進程 任務 運行結果:", p.get_data())   # -----> 初始化 數據未改變
    print(ProcessClass.g_num)  # ------>100  數據未改變
    print("子進程 任務 運行結果:", queues.get())  # -----> 120 數據未改變
    print("子進程 任務 運行結果:", queues.get())  # -----> 運行之後的結果 數據未改變
    print("(%s)執行結束,耗時%0.2f" % (os.getpid(), t_stop - t_start))
  4、進程池:           如果進程有成千上萬個,手動創建進程的工作量巨大,這個時候應該用到multiprocessing模塊中的Pool類           這個類下有幾個方法比較常用:           apply_async(func[, args[, kwds]]) :使用非阻塞方式調用func(並行執行 ,堵塞方式必須等待上一個進程退出才能執行下一個進程),args為傳遞給 func的參數列表,kwds為傳遞給func的關鍵字參數列表;           apply(func[, args[, kwds]]):使用阻塞方式調用func  close():關閉Pool,使其不再接受新的任務;             terminate():不管任務是否完成,立即終止;           join():主進程阻塞,等待子進程的退出, 必須在close或terminate之後使用 主要實例:
# 進程池
def worker(msg):
    start = time.time()
    print("{}開始執行,進程號為{}".format(msg, os.getpid()))
    # random.random()生成0~1之間的隨機數
    time.sleep(random.random()*3)
    # time.sleep(3)
    stop = time.time()
    print(msg, "執行完畢,耗時{:.2f}".format(stop-start))


if __name__ == "__main__":
    # 定義一個進程池,最大數為3
    po = Pool(3)
    for i in range(10):
        # 非阻塞式操作Pool.apply_async(要調用的目標,(傳遞給目標的參數元組,))
        # 每次迴圈將會用空閑出來的子進程去調用目標
        po.apply_async(worker, (i, ))
        # 阻塞式操作
        # po.apply(worker, (i, ))
    print("start".center(24, "-"))
    po.close()
    po.join()
    print("end".center(24, "-"))

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、校驗數字的表達式 二、校驗字元的表達式 有四種錢的表示形式我們可以接受:"10000.00" 和 "10,000.00", 和沒有 "分" 的 "10000" 和 "10,000":^[1-9][0-9]$ 1到3個數字,後面跟著任意個 逗號+3個數字,逗號成為可選,而不是必須:^([0-9]+ ...
  • 記錄了自定義博客園的過程。 js框架學習了這位博主分享的主題中的交互代碼,包括頁面標題設置,回到頂部和評論區頭像載入。 "Silence 專註於閱讀的博客園主題" 在此表示感謝。 佈局和樣式定義 禁用了原本的標題欄和導航欄,在頁首自定義html中自己寫了標題欄和導航欄。導航欄中的關於我的頁面還沒寫, ...
  • 在開發微信小程式或者微信網頁H5的時候,有時我們利用外部組件可能不相容這兩者,需要區分開來,可以在對應的mainjs中配置如下 代碼解釋: 在微信小程式中 wx作為全局變數能夠在任何界面中使用,而在chrome中,wx則為undefined,然後給Vue這個構造函數的原型增加一個屬性,每個頁面都能夠 ...
  • "推薦在這裡閱讀" 9012年都過半了,還不會用ts你就out了 why ? 1. 三大框架angular2以後的版本完全是用ts開發的, 2. vue對ts的支持也越來越好, 3. React也有TSX組件 還在猶豫什麼 本文不涉及框架內容,因為框架的cli已經幫你搭好了ts環境。。。 本文只教你 ...
  • 一、小案例分析 1、功能需求: 以電源適配器為例。 一個人去外國旅游,住在外國某賓館,恰好手機沒電(手機是雙孔插頭),但外國賓館只有三孔插座,賓館一般不可能為了旅客,將三孔插座換成雙孔插座,此時適配器就派上用場了,將雙孔插頭轉成三孔插頭,即可滿足要求。 2、什麼是適配器模式: 適配器模式是一種結構型 ...
  • 本文由葡萄城技術團隊於博客園原創並首發 轉載請註明出處:葡萄城官網,葡萄城為開發者提供專業的開發工具、解決方案和服務,賦能開發者。 在開始之前,我想您一定會有這樣的困惑:標題里的Electron 是什麼?Electron能做什麼?許多偉大的公司使用Electron框架的原因又是什麼? 帶著這些問題和 ...
  • python判斷字元串中是否包含子字元串 s = '1234問沃爾沃434' if s.find('沃爾沃') != -1: print('存在') else: print('不存在') ...
  • 一. 什麼是IoC 當在A類中要使用B類的時候,我們一般都是採用new的方式來實例化B類,這樣一來這兩個類就有很強的依賴關係,不符合低耦合的設計思想。這時候我們可以通過一個中間容器來實例化對象,需要的時候就可以通過容器獲取一個B類的對象。這種思想就是IoC(控制反轉),其實我覺得叫控制轉移更為合適, ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...