Python併發編程之線程中的信息隔離(五)

来源:https://www.cnblogs.com/wongbingming/archive/2018/05/15/9038815.html
-Advertisement-
Play Games

大家好,併發編程 進入第三篇。 上班第一天,大家應該比較忙吧。小明也是呢,所以今天的內容也很少。只要幾分鐘就能學完。 昨天我們說,線程與線程之間要通過消息通信來控製程序的執行。 講完了消息通信,今天就來探討下線程里的信息隔離是如何做到的。 大家註意:信息隔離,這並不是官方命名的名詞,也不是網上廣為流 ...


大家好,併發編程 進入第三篇。

上班第一天,大家應該比較忙吧。小明也是呢,所以今天的內容也很少。只要幾分鐘就能學完。

昨天我們說,線程與線程之間要通過消息通信來控製程序的執行。

講完了消息通信,今天就來探討下線程里的信息隔離是如何做到的。

大家註意
信息隔離,這並不是官方命名的名詞,也不是網上廣為流傳的名詞。是我為了方便理解而自創的,大家知道就好咯。

本文目錄


  • 初步認識信息隔離
  • 信息隔離的意義何在

. 初步認識信息隔離

什麼是信息隔離
比如說,咱有兩個線程,線程A里的變數,和線程B里的變數值不能共用。這就是信息隔離

你可能要說,那變數名取不一樣不就好啦?

是的,如果所有的線程都不是由一個class實例化出來的同一個對象,確實是可以。這個問題我們暫且掛著,後面我再說明。

那麼,如何實現信息隔離呢?
在Python中,其提供了threading.local這個類,可以很方便的控制變數的隔離,即使是同一個變數,在不同的線程中,其值也是不能共用的。

用代碼來看下

from threading import local, Thread, currentThread

# 定義一個local實例
local_data = local()
# 在主線中,存入name這個變數
local_data.name = 'local_data'


class MyThread(Thread):
def run(self):
print("賦值前-子線程:", currentThread(),local_data.__dict__)
# 在子線程中存入name這個變數
local_data.name = self.getName()
print("賦值後-子線程:",currentThread(), local_data.__dict__)


if __name__ == '__main__':
print("開始前-主線程:",local_data.__dict__)

t1 = MyThread()
t1.start()
t1.join()

t2 = MyThread()
t2.start()
t2.join()

print("結束後-主線程:",local_data.__dict__)

來看看輸出結果

開始前-主線程: {'name': 'local_data'}

賦值前-子線程: <MyThread(Thread-1, started 4832)> {}
賦值後-子線程: <MyThread(Thread-1, started 4832)> {'name': 'Thread-1'}

賦值前-子線程: <MyThread(Thread-2, started 5616)> {}
賦值後-子線程: <MyThread(Thread-2, started 5616)> {'name': 'Thread-2'}

結束後-主線程: {'name': 'local_data'}

從輸出來看,我們可以知道,local實際是一個字典型的對象,其內部可以以key-value的形式存入你要做信息隔離的變數。local實例可以是全局唯一的,只有一個。因為你在給local存入或訪問變數時,它會根據當前的線程的不同從不同的存儲空間存入或獲取。

基於此,我們可以得出以下三點結論:

  1. 主線程中的變數,不會因為其是全局變數,而被子線程獲取到;
  2. 主線程也不能獲取到子線程中的變數;
  3. 子線程與子線程之間的變數也不能互相訪問。

所以如果想在當前線程保存一個全局值,並且各自線程(包括主線程)互不幹擾,使用local類吧。

. 信息隔離的意義何在

細心的你,一定已經發現了,上面那個例子,即使我們不用threading.local來做信息隔離,兩個線程self.getName()本身就是隔離的,沒有任何關係的。因為這兩個線程是由一個class實例出的兩個不同的實例對象。自然是可以不用做隔離,因為其本身就是隔離的。

但是,現實開發中。不可排除有多個線程,是由一個class實例出的同一個實例對象而實現的。

譬如,現在新手特別喜歡的爬蟲項目。通常都是先給爬蟲一個主頁,然後獲取主頁下的所有鏈接,對這個鏈接再進行遍歷,一直往下,直到把所有的鏈接都爬完,獲取到我們所需的內容。

由於單線程的爬取效率實在是太低了,我們考慮使用多線程來工作。先使用socketwww.sina.con.cn建立一個TCP連接。然後在這個連接的基礎上,對主頁上的每個鏈接(我們這裡只舉news.sina.com.cnblog.sina.com.cn這兩個子鏈接做例子)創建一個線程,這樣效率就高多了。

友情提醒
以下代碼,若要理解,可能需要你瞭解下socket的網路編程相關內容。我在前幾天的文章中有發佈一篇相關的文章,沒有基礎的同學可以先去看看那篇文章。

import threading
from functools import partial
from socket import socket, AF_INET, SOCK_STREAM

class LazyConnection:
def __init__(self, address, family=AF_INET, type=SOCK_STREAM):
self.address = address
self.family = AF_INET
self.type = SOCK_STREAM
self.local = threading.local()

def __enter__(self):
if hasattr(self.local, 'sock'):
raise RuntimeError('Already connected')
# 把socket連接存入local中
self.local.sock = socket(self.family, self.type)
self.local.sock.connect(self.address)
return self.local.sock

def __exit__(self, exc_ty, exc_val, tb):
self.local.sock.close()
del self.local.sock

def spider(conn, website):
with conn as s:
header = 'GET / HTTP/1.1\r\nHost: {}\r\nConnection: close\r\n\r\n'.format(website)
s.send(header.encode("utf-8"))
resp = b''.join(iter(partial(s.recv, 100000), b''))
print('Got {} bytes'.format(len(resp)))

if __name__ == '__main__':
# 建立一個TCP連接
conn = LazyConnection(('www.sina.com.cn', 80))

# 爬取兩個頁面
t1 = threading.Thread(target=spider, args=(conn,"news.sina.com.cn"))
t2 = threading.Thread(target=spider, args=(conn,"blog.sina.com.cn"))
t1.start()
t2.start()
t1.join()
t2.join()

輸出結果

Got 765 bytes
Got 513469 bytes

如果是在這種場景下,要做到線程之間的狀態信息的隔離,就肯定要藉助threading.local,所以threading.local的存在是有存在的意義的。其他還有很多場景是必須藉助threading.local才能實現的,而這些就要靠你們在真正的業務開發中去發現咯。

好了,今天就講這些內容。


關註公眾號,獲取最新文章
關註公眾號,獲取最新文章

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、什麼是裝飾模式 裝飾模式(Decorator),動態地給一個對象添加一些額外的職責,就增加功能來說,裝飾模式比生成子類更靈活。UML結構圖如下: 其中,Component是抽象構件,定義一個對象介面,可以給這些對象動態地添加職責;ConreteComponent定義一個具體對象,也可以給這個對象 ...
  • 剛畫出來的,裡邊配的騷詞出自本人,夠騷吧! ...
  • Java反射, 修改欄位值, 實例化對象, 繞過構造器來實例化對象 ...
  • 概述 分散式平臺的核心在於併發,容錯。 而 Elixir 的優勢正是在於對於併發和容錯的處理。 分散式模型 1. CSP(Communicating Sequential Process) 模型 :: 多個進程通過管道(channel)進行交互 2. Actor 模型 :: 每個進程管理自己的內部狀 ...
  • ava開源生鮮電商平臺-購物車模塊的設計與架構(源碼可下載) 說明:任何一個電商無論是B2C還是B2B都有一個購物車模塊,其中最重要的原因就是客戶需要的東西放在一起,形成一個購物清單,確認是否有問題,然後再進行下單與付款. 1. 購物車資料庫設計: 說明:業務需求: 1》購物車裡面應該存放,那個買家 ...
  • 封裝 觀察前面的文件發現,除了sql語句及參數不同,其它語句都是一樣的 創建MysqlHelper.py文件,定義類 添加 創建testInsertWrap.py文件,使用封裝好的幫助類完成插入操作 查詢一個 創建testGetOneWrap.py文件,使用封裝好的幫助類完成查詢最新一行數據操作 實 ...
  • 前言 最近在參加一個比賽,使用到了區塊鏈的開源軟體 ,由於之前從未接觸過區塊鏈,以及和區塊鏈開發相關的內容,所有在網上查閱了大量的資料,並且通過學習 "yeasy(楊寶華)" 開源的入門書籍 "區塊鏈技術指南" 以及進階學習的《區塊鏈原理、設計與應用》,對區塊鏈的一些相關概念有了一定認識。這裡記錄的 ...
  • 說到Java,一定繞不開GC,儘管不是Java首創的,但Java一定是使用GC的代表。GC就是垃圾回收,更直接點說就是記憶體回收。是對記憶體進行整理,從而使記憶體的使用儘可能大的被覆用。 一直想好好寫一篇關於GC的文章,可是卻發現要寫的東西太大了,不是一篇博客能簡單的介紹完的。所以打算拆分成若幹篇博客,一 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...