恢復內容開始 進程 由於GIL的存在，python中的多線程其實並不是真正的多線程，如果想要充分地使用多核CPU的資源，在python中大部分情況需要使用多進程。Python提供了非常好用的多進程包multiprocessing，只需要定義一個函數，Python會完成其他所有事情。藉助這個包，可以輕 ...
---恢復內容開始---
進程
由於GIL的存在，python中的多線程其實並不是真正的多線程，如果想要充分地使用多核CPU的資源，在python中大部分情況需要使用多進程。Python提供了非常好用的多進程包multiprocessing，只需要定義一個函數，Python會完成其他所有事情。藉助這個包，可以輕鬆完成從單進程到併發執行的轉換。multiprocessing支持子進程、通信和共用數據、執行不同形式的同步，提供了Process、Queue、Pipe、Lock等組件。
multiprocessing包是Python中的多進程管理包。與threading.Thread類似，它可以利用multiprocessing.Process對象來創建一個進程。該進程可以運行在Python程式內部編寫的函數。該Process對象與Thread對象的用法相同，也有start(), run(), join()的方法。此外multiprocessing包中也有Lock/Event/Semaphore/Condition類 (這些對象可以像多線程那樣，通過參數傳遞給各個進程)，用以同步進程，其用法與threading包中的同名類一致。所以，multiprocessing的很大一部份與threading使用同一套API，只不過換到了多進程的情境。
創建進程的兩種方法
調用內置的方法
from multiprocessing import Process
import time
def fun(name):
print(name+' is running')
time.sleep(2)
print(name+' end')
if __name__ == '__main__':
pro = Process(target=fun,args=('no1',))
pro.start()
自定義類
from multiprocessing import Process
import os
class Myprocess(Process):
def __init__(self,name):
Process.__init__(self)
self.name = name
def run(self):
print(os.getpid())
print(self.name+' is running')
if __name__=='__main__':
p1 = Myprocess('1')
p2=Myprocess('2')
p3=Myprocess('3')
p1.start()
p2.start()
p3.start()
註意：在運行的時候要在main裡面運行，因為子進程是通過導入模塊的方式拿到父進程的代碼，如果沒有main會一直開啟子進程，而子進程的申請是需要開闢記憶體以及申請pid等的。
進程間通訊
隊列queue()
使用方法跟threading里的queue類似，但是不同進程間記憶體是不共用的，所以要用下麵的方法
from multiprocessing import Process, Queue
def f(q,n):
q.put('hello')
def f1(q):
print(q.get())
if __name__ == '__main__':
q = Queue()
for i in range(2):
p = Process(target=f, args=(q,i))
p.start()
tp1 = Process(target=f1,args=(q,))
tp2 = Process(target=f1, args=(q,))
tp3 = Process(target=f1, args=(q,))
tp1.start()
tp2.start()
要傳入一個公共的queue來保證是同一個隊列。
管道Pipes
Pipe()返回兩個值（conn1，conn2），作為通訊的兩個端。通過設置duplex參數來設置兩個埠的功能，如果duplex參數為True(預設值)，那麼這個管道是全雙工模式，也就是說conn1和conn2均可收發。duplex為False，conn1只負責接受消息，conn2只負責發送消息。
from multiprocessing import Process, Pipe
def s(conn):
conn.send('hello, how do you do')
conn.close()
def r(conn):
print(conn.recv())
if __name__ == '__main__':
conn1, conn2 = Pipe()
p1 = Process(target=s, args=(conn1,))
p2 = Process(target=r, args=(conn2,))
p1.start()
p2.start()
Managers實現進程之間的數據共用
manager支持 list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event, Barrier, Queue, Value,Array等類型的共用
from multiprocessing import Process, Manager
def f(d, l,n):
d[n] = '1'
d['2'] = 2
d[0.25] = None
l.append(n)
print(l)
if __name__ == '__main__':
with Manager() as manager:
d = manager.dict()
l = manager.list(range(5))
p_list = []
for i in range(10):
p = Process(target=f, args=(d, l,i))
p.start()
p_list.append(p)
for res in p_list:
res.join()
print(d)
print(l)
待續
