認識進程與線程(python) 一段時間沒有更新博客了,今天和大家講講關於 python 進程和線程的知識點。(個人心得,多多指教!) 階段一:併發與並行的深入理解 並行一定是併發,但併發不一定是並行。 並行是相對的,並行是絕對的。 問題一: 電腦是如何執行程式指令的? 問題二: 電腦如 ...
階段一:併發與並行的深入理解
並行一定是併發,但併發不一定是並行。
並行是相對的,並行是絕對的。
1、關於並行與併發的問題引入:
問題一: 電腦是如何執行程式指令的?
問題二: 電腦如何模擬出並行執行的效果?
問題三: 真正的並行需要依賴什麼?
2、電腦執行指令示意圖
2、輪詢調度實現併發執行
併發:看上去一起執行,同時在發生
並行:真正一起執行,同時在進行
調度演算法:
時間片輪轉
優先順序調度
3、並行需要的核心條件
並行真正的核心條件是有多個CPU
階段二:多進程實現並行
1、多進程並行問題引入
問題一: 什麼是進程?
問題二: 如何在Python中使用進程?
問題三: 多進程實現並行的必要條件是什麼?
2、進程的概念
電腦程式是存儲在磁碟上的可執行二進位(或其他類型)文件。
只有把它們載入到記憶體中,並被操作系統調用它們才會擁有其自己的生命周期。
進程則是表示的一個正在執行的程式。
每個進程都擁有自己的地址空間、記憶體、數據棧以及其他用於跟蹤執行的輔助數據
操作系統負責其上所有進程的執行。
操作系統會為這些進程合理地分配執行時間。
3、在Python中直接執行耗時函數
import time print('main-task start:', time.asctime(time.localtime(time.time()))) def func(): print('sub-task start:', time.asctime(time.localtime(time.time()))) time.sleep(5) print('sub-task end:', time.asctime(time.localtime(time.time()))) func() time.sleep(5) print('main-task end:', time.asctime(time.localtime(time.time())))
4、在Python中使用進程來分擔耗時任務
import time import multiprocessing def func(n): for i in range(n): for a in range(n): for b in range(n): print(b) start_time = time.time() p = multiprocessing.Process(target=func, args=(50, )) # 實例化,創建一個進程 # 參數如何傳? args=(50, ) kwargs={'n': 50} p.start() # 開啟進程 p.join() # 主進程等待子進程結束 func(50) # func(50) end_time = time.time() print('運行了%ds!' % (end_time - start_time))
5、多進程並行的必要條件
總進程數量不多於CPU核心數量!
因此,現在運行的程式都是輪詢調度產生的並行假象。但是在Python層面的確獲得了並行!
階段三:多線程實現併發
1、多線程併發問題引入
問題一: 什麼是線程?
問題二: 如何在Python中使用線程?
問題三: 為什麼多線程不是並行?
2、線程的概念
線程被稱作輕量級進程。
與進程類似,不過它們是在同一個進程下執行的。並且它們會共用相同的上下文。
當其他線程運行時,它可以被搶占(中斷)和臨時掛起(也成為睡眠)— 讓步
線程的輪詢調度機制類似於進程的輪詢調度。只不過這個調度不是由操作系統來負責,而是由Python解釋器來負責。
3、在Python中使用線程來避開阻塞任務
import time import multiprocessing import threading print('---outer--start---:', time.asctime(time.localtime(time.time()))) def func(): print('---inner--start---:', time.asctime(time.localtime(time.time()))) time.sleep(5) print('---inner--end---:', time.asctime(time.localtime(time.time()))) """ 在進程里可以模擬耗時任務,但是線上程里只能模擬阻塞任務,不能模擬耗時任務。因為多線程只有一個核心進程。 """ p = multiprocessing.Process(target=func) # 創建子進程 t = threading.Thread(target=func) # 創建子線程 t.start() # 開啟子線程 time.sleep(5) print('---outer--end---:', time.asctime(time.localtime(time.time())))
CPU在任意一個進程里,任意時刻,只能執行一個線程
對進程的輪詢是操作系統負責調度
對線程的輪詢是Python解釋器負責調度
4、GIL鎖 全局解釋器鎖
Python在設計的時候,還沒有多核處理器的概念。
因此,為了設計方便與線程安全,直接設計了一個鎖。
這個鎖要求,任何進程中,一次只能有一個線程在執行。
因此,並不能為多個線程分配多個CPU。
所以Python中的線程只能實現併發,
而不能實現真正的並行。
但是Python3中的GIL鎖有一個很棒的設計,
在遇到阻塞(不是耗時)的時候,會自動切換線程。
5、GIL鎖帶給我們的新認知
遇到阻塞就自動切換。因此我們可以利用這種機制來有效的避開阻塞~充分利用CPU
階段四:使用多進程與多線程來實現併發伺服器
關鍵點一: 多進程是並行執行,
相當於分別獨立得處理各個請求。
關鍵點二: 多線程,雖然不能並行運行,
但是可以通過避開阻塞切換線程
來實現併發的效果,並且不浪費CUP
from socket import * from multiprocessing import Process # 進程 from threading import Thread # 線程 # 創建套接字 server = socket() server.bind(('', 9999)) server.listen(1000) # 定義函數 def func(conn): while True: recv_data = conn.recv(1024) if recv_data: print(recv_data) conn.send(recv_data) else: conn.close() break while True: # 迴圈去監聽 conn, addr = server.accept() # 每生成一個對等連接套接字,我就生成一個進程、線程,並且我讓這個進程、線程去服務這個連接過來的客戶端 # p = Process(target=func, args=(conn, )) # 生成一個進程 # p.start() # 啟動進程 t = Thread(target=func, args=(conn, )) # 生成一個線程 t.start() # 啟動線程