python進程池中的回調函數

来源:https://www.cnblogs.com/xxpythonxx/archive/2023/04/15/17321346.html
-Advertisement-
Play Games

操作系統的四個特性? 併發:同一段時間內多個程式執行(與並行區分,並行指的是同一時刻有多個事件,多處理器系統可以使程式並行執行) 共用:系統中的資源可以被記憶體中多個併發執行的進線程共同使用 虛擬:通過分時復用(如分時系統)以及空分復用(如虛擬記憶體)技術把一個物理實體虛擬為多個 非同步:系統進程用一種走 ...


什麼是回調函數

指定一個任務後、並且指定一個回調函數後,當指定的進程池執行的任務結束後,會將該任務的返回值作為回調函數的參數傳遞到回調函數中,並且回調函數得以執行

回調函數在主進程中被執行

 import os
 from multiprocessing import Pool


 def func1(n):
     print('in func1', os.getpid())
     return n * n

 def func2(nn):
     print('in func2 %s ' % os.getpid())
     print(nn)

 if __name__ == '__main__':
     pool = Pool(4)
     pool.apply_async(func1, args=(10, ), callback=func2)    # calback為回調參數,可以指定一個回調函數,這裡指定回調函數為func2
     pool.close()
     pool.join()
     print(os.getpid())

10個任務func1投入到含有4個進程的進程池中非同步執行,並且指定回調函數為func2,當投入到進程池中的每個任務執行完後,都會將返回值作為參數返回給回調函數,並且回調函數在主進程得以執行
執行了10次func1、10次func2

from multiprocessing import Pool

def func1(n):
    print('in func1')
    return n * n

def func2(nn):
    print('in func2')
    print(nn)

if __name__ == '__main__':
    pool = Pool(4)
    for i in range(10):
        pool.apply_async(func1, args=(10, ), callback=func2)    # calback為回調參數,可以指定一個回調函數,指定進程池執行的任務結束後,會將任務的返回值作為參數傳遞給回調函數,並執行回調函數,回調函數是在主進程中得以執行的
    pool.close()
    pool.join()

一般在爬蟲中,用到回調函數比較多,並且是將訪問網頁、下載網頁的過程放到子進程中去做,分析數據,處理數據讓回調函數去做,因為訪問網頁與下載網頁有網路延時,而處理數據只占用很小的時間


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1.車系頁佈局渲染現狀 車系頁是重要的車系信息頁面,更新迭代多年,頁面佈局不斷變化,xml佈局文件越寫越複雜。 獲取車系頁佈局文件耗時: startTime = System.currentTimeMillis(); setContentView(R.layout.car_series_revisi ...
  • “我苦心鍛煉了三年,我變禿了,也變強了。” —— 琦玉老師 0x00 大綱 0x01 前言 四個月前,我在《你是來找茬的吧?對自己的博客進行調優》一文中探討了以博客的使用者而不是開發者身份去進行優化,究竟能做到何種程度的問題。當時以 Edge 瀏覽器的開發者工具里的 lighthouse 評分和載入 ...
  • #例子 星巴茲是以擴張速度最快而聞名的咖啡連鎖店。因為擴張速度實在太快,他們著急更新訂單系統,來匹配他們的飲料供應要求。 ##實現1 繼承 購買咖啡時,也可以要求其中加入各種調料,例如:蒸奶,豆漿 很明顯,星巴茲為自己製造了一個維護噩夢,如果牛奶的價錢上揚,怎麼辦?新增一種焦糖調料風味時,怎麼辦 調 ...
  • 說明 使用 VLD 記憶體泄漏檢測工具輔助開發時整理的學習筆記。同系列文章目錄可見 《記憶體泄漏檢測工具》目錄 1. 使用方式 在 VS 中使用 VLD 的方法可以查看另外一篇博客:在 VS 2015 中使用 VLD。 2. 輸出報告 在 VS 中使用 VLD 時的輸出報告,與在 QT 中使用時是一致的 ...
  • 說明 使用 VLD 記憶體泄漏檢測工具輔助開發時整理的學習筆記。本篇介紹在 VS 2015 中使用 VLD。同系列文章目錄可見 《記憶體泄漏檢測工具》目錄 1. 使用前的準備 參考本人另一篇博客 安裝 Visual Leak Detector 下載 vld-2.5.1-setup.exe 並按步驟安裝 ...
  • 標記介面 標記介面(Marker Interface),又稱標簽介面(Tag Interface) 僅代表一個標記 不包含任何方法 標記介面是用來判斷某個類是否具有某種能力 Cloneable標記介面 此類實現了 Cloneable 介面,以指示 Object.clone 方法可以合法地對該類實例進 ...
  • 1. Set介面基本介紹 Set是無序集合(添加和取出的順序不一致,但取出的順序是固定的),沒有索引 不允許重覆元素,所以最多包含一個null JDK API中Set介面的實現類有: Abstract, ConcurrentHashMap.KeySetView, ConcurrentSkipList ...
  • 在PyQt開發中,時常需要對控制項的值進行校驗,如需要校驗QCheckBox是否被選中,QLabel是否校驗值是否為空等等。在複雜的業務場景下,這類控制項如果數量很多,逐個校驗就顯得麻煩,需要一一獲得控制項名稱,再調用對應的方法來判斷是否被選中、是否為空等。而且開發過程中如果多控制項做了增減,還需要增減校驗 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...