深入理解ThreadLocal

来源:https://www.cnblogs.com/wuweishuo/archive/2020/07/22/13362761.html
-Advertisement-
Play Games

存儲結構 threadLocal存儲於Thread類上的ThreadLocalMap類型的threadLocals中。 從ThreadLocalMap的名字上可以看出其結構類似於HashMap,它也是使用key-value結構的Entry數組table來存儲ThreadLocal和值。 但區別在於E ...


存儲結構

threadLocal存儲於Thread類上的ThreadLocalMap類型的threadLocals中。

從ThreadLocalMap的名字上可以看出其結構類似於HashMap,它也是使用key-value結構的Entry數組table來存儲ThreadLocal和值。

但區別在於Entry繼承於WeakReference,key使用弱引用,其好處在於當threadlocal沒有強引用時,key將在下一次gc中被回收,但僅僅key被回收,value不會被回收,這就是ThreadLocal會導致記憶體泄漏的原因,但ThreadLocal也有一些機制去處理這種情況,後續會說。

還有一種區別在於解決hash衝突的方式,HashMap是使用數組+鏈表,即拉鏈法來解決的,而ThreadLocalMap使用線性探測法,即當前位置衝突,探測下一個地址是否衝突,不衝突插入。

set過程

首先是獲取thread上的ThreadLocalMap

	public void set(T value) {
        //1.獲取當前線程
        Thread t = Thread.currentThread();
       	//2.獲取線程上的ThreadLocalMap
        ThreadLocalMap map = getMap(t);
        if (map != null)
            //3.1.存在調用ThreadLocalMap的set方法
            map.set(this, value);
        else
            //3.2.不存在初始化ThreadLocalMap
            createMap(t, value);
    }

	ThreadLocalMap getMap(Thread t) {
        return t.threadLocals;
    }

	void createMap(Thread t, T firstValue) {
        t.threadLocals = new ThreadLocalMap(this, firstValue);
    }

獲取到ThreadLocalMap之後,將threadlocal和value封裝為Entry保存到數組中。

	private void set(ThreadLocal<?> key, Object value) {
            Entry[] tab = table;
            int len = tab.length;
        	//1.通過threadlocal的threadLocalHashCode獲取到存放位置
            int i = key.threadLocalHashCode & (len-1);

            for (Entry e = tab[i];
                 e != null;
                 e = tab[i = nextIndex(i, len)]) {
                ThreadLocal<?> k = e.get();
				//2.1.當前存放位置key相等,替換值
                if (k == key) {
                    e.value = value;
                    return;
                }
				//2.2.當前存放位置key已經被gc回收,替換當前位置的entry
                if (k == null) {
                    replaceStaleEntry(key, value, i);
                    return;
                }
                //2.3.當前位置已存放別的threadlocal,線性探測下一個位置
            }
			
        	//3.當前位置為空,存放
            tab[i] = new Entry(key, value);
            int sz = ++size;
        	//4.回收key已經gc的entry,然後判斷是否擴容
            if (!cleanSomeSlots(i, sz) && sz >= threshold)
                rehash();
        }

我們看下threadLocalHashCode的獲取。

	private final int threadLocalHashCode = nextHashCode();

    private static AtomicInteger nextHashCode =
        new AtomicInteger();

    private static final int HASH_INCREMENT = 0x61c88647;

    private static int nextHashCode() {
        return nextHashCode.getAndAdd(HASH_INCREMENT);
    }

每次實例化ThreadLocal的時候都會從nextHashCode獲取,而每次獲取都會加上`0x61c88647,HASH_INCREMENT的註釋是比起連續的自增序列能使threadlocal在ThreadLocalMap分佈更加均勻。

for (int i = 0; i < 16; i++) {
     System.out.println(0x61c88647 * i & 15);
}

運行這段代碼,我們確實可以發現16個值隨機均勻的分佈在0-15之間,正好符合threadlocalMap上面的16個entry大小數組。

我們知道threadLocalMap在到達threshold的時候會發生擴容,這時ThreadLocal會進行rehash重新存放,我們將上面的i改為32會發現還是均勻的分佈在0-32之間,那麼一直不會發生hash衝突。那麼到底什麼時候會發生hash衝突?

前面我們提到Entry的key為弱引用,在沒有強引用下,下次gc將會回收,在set方法中我們可以看replaceStaleEntry和cleanSomeSlots方法,這裡就是回收key被回收後的Entry節點。

我們先說回hash衝突,假設在size達到threshold之前,有些key已經被回收,那麼在新建了16個threadlocal之後,將出現一個再次填充到第一個threadlocal位置的threadlocal,這時就會導致hash衝突。

我們假設ThreadLocalMap大小為4,閾值為4,如下圖所示:

ThreadLocalMap填入ThreadLocal4時,ThreadLocal2、ThreadLocal3已經沒有強引用觸發gc,那麼Entry2、Entry3的key將會為null。

這時將會觸發cleanSomeSlots,回收Entry2、Entry3。

這時我們才填入ThreadLocal5,這時就會和Entry1發生hash衝突,探測下一個位置填入。

以上就是整個set過程中hash衝突發生的情況和ThreadLocalMap如何處理的過程。

下麵我們再看下replaceStaleEntry和cleanSomeSlots如何回收Entry的。

我們追蹤replaceStaleEntry和cleanSomeSlots會發現其都調用expungeStaleEntry方法。

private int expungeStaleEntry(int staleSlot) {
            Entry[] tab = table;
            int len = tab.length;
			
    		//釋放當前位置的過期Entry
            tab[staleSlot].value = null;
            tab[staleSlot] = null;
            size--;

            Entry e;
            int i;
    		//從當前位置開始探測下一個,如果已經過期則清除,如果未過期重新rehash插入。
            for (i = nextIndex(staleSlot, len);
                 (e = tab[i]) != null;
                 i = nextIndex(i, len)) {
                ThreadLocal<?> k = e.get();
                
                if (k == null) {
                    //已經gc清除Entry
                    e.value = null;
                    tab[i] = null;
                    size--;
                } else {
                    //Threadlocal還沒被gc,進行rehash
                    int h = k.threadLocalHashCode & (len - 1);
                    if (h != i) {
                        tab[i] = null;
                        while (tab[h] != null)
                            h = nextIndex(h, len);
                        tab[h] = e;
                    }
                }
            }
            return i;
        }

這個清除過期Entry的邏輯,我們可以看到在get和remove等方法中進行了調用,這也是ThreadLocal解決記憶體泄漏的機制。

總結

  1. ThreadLocal使用類似HashMap的結構進行存儲,區別在於其key使用弱引用,還有解決hash衝突使用線性探測法。
  2. ThreadLocal發生hash衝突的情況,只在ThreadLocalMap達到閾值之前已經發生弱引用被gc的情況下,否則ThreadLocalMap只會進行擴容,極少發生hash衝突。
  3. ThreadLocal解決因為弱引用被gc導致Entry節點還存在的記憶體泄漏,使用在set、get、remove等方法中進行回收弱引用被gc的Entry節點。因此唯一存在記憶體泄漏的情況是在弱引用被gc之後從未調過set、get、remove等方法,對此阿裡規範中要求,對不在使用ThreadLocal要調用remove方法。

子線程繼承父線程的ThreadLocal——InheritableThreadLocal

InheritableThreadLocal會讓子線程擁有父線程的InheritableThreadLocal,其原理就在於Thread在創建的時候會獲取當前線程的inheritableThreadLocals,然後使用創建自己的inheritableThreadLocals會將當前的inheritableThreadLocals複製。

Netty對ThreadLocal的優化——FastThreadLocal

存儲結構

FastThreadLocal對應的map為InternalThreadLocalMap,他拋棄了ThreadLocalMap的結構,使用Object數組進行存儲。

其中頭部存放的是Set集合的FastThreadLocal,而其他部分存放的是FastThreadLocal的值。FastThreadLocal上有一個index變數存放其值在Object數組中的位置。

而FastThreadLocal index的值是全局自增的。

優化點

set僅僅只需要將FastThreadLocal的值存放到Object上對應的位置,同時將FastThreadLocal存放到Object頭部的set集合中

get操作也只需要拿到FastThreadLocal的index,去object上獲取值

remove操作也只需要拿到FastThreadLocal的index,將object對應的值置為unset,同時從object頭部的set集合移除FastThreadLocal。

這樣一來不需要處理hash衝突和清除過期的節點,但由於index是一直自增的,會導致Object上無效的位置無法重覆使用,Object一直增大,相當於用空間換時間。

還有FastThreadLocal的記憶體泄漏問題解決在於同樣需要手動調用FastThreadLocal的remove方法,當Netty提供更方便的操作,使用FastThreadLocalRunnable對Runnable進行封裝,其在run方法中調用FastThreadLocal的removeAll方法進行清除。

ThreadLocal線上程池中使用的問題

ThreadLocal銷毀問題

由於線程池中的線程在使用完,不會進行銷毀,只是重新放入線程池中,如果線程在使用完不對ThreadLocal進行remove,那麼這會導致下次使用這個線程時獲取到上次使用的ThreadLocal。

Spring中大量使用ThreadLocal,例如RequestContextHolder使用THreadLocal存放Request和Respons,Spring對它處理就是使用RequestContextFilter在邏輯處理完成之後調用remove方法。

ThreadLocal傳輸問題

如果ThreadLocal要線上程池中傳輸,我想到的是對Runnable進行包裝,在創建的時候拷貝一份ThreadLocal的值,在run方法中重新設置回去ThreadLocal中。

阿裡的TransmittableThreadLocal對其的處理就是如此做的。

ThreadLocal在Hystrix中傳輸問題

Hystrix的處理有兩種,一種線程池,一種信號量。

ThreadLocal在Hystrix中傳輸問題也就是線程池中傳輸的問題,安照上面的解決方案,我們也只需要對Runnable和Callable進行封裝。

Hystrix提供HystrixPlugin讓我們定製化自己的HystrixConcurrencyStrategy,HystrixConcurrencyStrategy提供對Callable進行包裝的方法wrapCallable,那麼我們只需要在這裡對Callable進行包裝即可。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • @ 前言 Java是面向對象的語言,所謂“萬事萬物皆對象”就是Java是基於對象來設計程式的,沒有對象程式就無法運行(8大基本類型除外),那麼對象是如何創建的?在記憶體中又是怎麼分配的呢? 正文 一、對象的創建方式 在Java中我們有幾種方式可以創建一個新的對象呢?總共有以下幾種方式: new關鍵字 ...
  • 上圖是一張普通地圖,最刺眼的就是邊界? 非常好奇地圖繪製工程師是如何描繪如此彎曲多變的邊界的?強制行政區域還是人群歷史原因自然的人以群分? 我們再換個視角,對工程師或者架構師來說,微服務的邊界如何劃分呢? 基於DDD設計方法論中的概念 限界上下文 來劃分微服務的邊界; 背景 架構師小李正在團隊推行D ...
  • 一、JavaScript 和 html 代碼的結合方式 1. 第一種方式 只需要在 head 標簽中,或者在 body 標簽中, 使用 script 標簽 來書寫 JavaScript 代碼 <!DOCTYPE html> <html lang="en"> <head> <meta charset= ...
  • 什麼是Redis Redis 是一個開源(BSD許可)的,記憶體中的數據結構存儲系統,它可以用作資料庫、緩存和消息中間件。 它支持多種類型的數據結構,如字元串, 散列, 列表, 集合, 有序集合與範圍查詢, bitmaps, hyperloglogs 和 地理空間(geospatial) 索引半徑查詢 ...
  • 一. 本篇要學習的內容和知識結構概覽 二. 知識點逐條分析 1. 使用函數重載 C++允許為同一個函數定義幾個版本, 從而使一個函數名具有多種功能, 這稱之為函數重載. 像這樣: 雖然函數名一樣, 但是參數列表不一樣, 一個求兩個整型參數的最大值, 一個求三個整型參數的最大值. 2. 新的基本數據類 ...
  • 1. 前言 我們真實的伺服器不應該直接暴露到公網上去,否則更加容易泄露伺服器的信息,也更加容易受到攻擊。一個比較“平民化”的方案是使用Nginx反向代理它。今天就來聊一聊使用Nginx反向代理的一些能力,Nginx代理能幫助我們實現很多非常有效的API控制功能。這也解釋了我為什麼一直推薦使用Ngin ...
  • 線程池 “線程池”,顧名思義就是一個線程緩存,線程是稀缺資源,如果被無限制的創建,不僅會消耗系統資源,還會降低系統的穩定性,因此Java中提供線程池對線程進行統一分配、調優和監控 線程池介紹 在web開發中,伺服器需要接受並處理請求,所以會為一個請求來分配一個線程來進行處理。如果每次請求都新創建一個 ...
  • Java NIO是一種基於通道和緩衝區的I/O方式,已經被廣泛的應用,成為解決高併發與大量連接和I/O處理問題的有效方式。 Java NIO相關組件 Java NIO主要有三個核心部分組成,分別是:Channel(通道),Buffer(緩衝區), Selector(選擇器) Channel Chan ...
一周排行
    -Advertisement-
    Play Games
  • 1、預覽地址:http://139.155.137.144:9012 2、qq群:801913255 一、前言 隨著網路的發展,企業對於信息系統數據的保密工作愈發重視,不同身份、角色對於數據的訪問許可權都應該大相徑庭。 列如 1、不同登錄人員對一個數據列表的可見度是不一樣的,如數據列、數據行、數據按鈕 ...
  • 前言 上一篇文章寫瞭如何使用RabbitMQ做個簡單的發送郵件項目,然後評論也是比較多,也是準備去學習一下如何確保RabbitMQ的消息可靠性,但是由於時間原因,先來說說設計模式中的簡單工廠模式吧! 在瞭解簡單工廠模式之前,我們要知道C#是一款面向對象的高級程式語言。它有3大特性,封裝、繼承、多態。 ...
  • Nodify學習 一:介紹與使用 - 可樂_加冰 - 博客園 (cnblogs.com) Nodify學習 二:添加節點 - 可樂_加冰 - 博客園 (cnblogs.com) 介紹 Nodify是一個WPF基於節點的編輯器控制項,其中包含一系列節點、連接和連接器組件,旨在簡化構建基於節點的工具的過程 ...
  • 創建一個webapi項目做測試使用。 創建新控制器,搭建一個基礎框架,包括獲取當天日期、wiki的請求地址等 創建一個Http請求幫助類以及方法,用於獲取指定URL的信息 使用http請求訪問指定url,先運行一下,看看返回的內容。內容如圖右邊所示,實際上是一個Json數據。我們主要解析 大事記 部 ...
  • 最近在不少自媒體上看到有關.NET與C#的資訊與評價,感覺大家對.NET與C#還是不太瞭解,尤其是對2016年6月發佈的跨平臺.NET Core 1.0,更是知之甚少。在考慮一番之後,還是決定寫點東西總結一下,也回顧一下.NET的發展歷史。 首先,你沒看錯,.NET是跨平臺的,可以在Windows、 ...
  • Nodify學習 一:介紹與使用 - 可樂_加冰 - 博客園 (cnblogs.com) Nodify學習 二:添加節點 - 可樂_加冰 - 博客園 (cnblogs.com) 添加節點(nodes) 通過上一篇我們已經創建好了編輯器實例現在我們為編輯器添加一個節點 添加model和viewmode ...
  • 前言 資料庫併發,數據審計和軟刪除一直是數據持久化方面的經典問題。早些時候,這些工作需要手寫複雜的SQL或者通過存儲過程和觸發器實現。手寫複雜SQL對軟體可維護性構成了相當大的挑戰,隨著SQL字數的變多,用到的嵌套和複雜語法增加,可讀性和可維護性的難度是幾何級暴漲。因此如何在實現功能的同時控制這些S ...
  • 類型檢查和轉換:當你需要檢查對象是否為特定類型,並且希望在同一時間內將其轉換為那個類型時,模式匹配提供了一種更簡潔的方式來完成這一任務,避免了使用傳統的as和is操作符後還需要進行額外的null檢查。 複雜條件邏輯:在處理複雜的條件邏輯時,特別是涉及到多個條件和類型的情況下,使用模式匹配可以使代碼更 ...
  • 在日常開發中,我們經常需要和文件打交道,特別是桌面開發,有時候就會需要載入大批量的文件,而且可能還會存在部分文件缺失的情況,那麼如何才能快速的判斷文件是否存在呢?如果處理不當的,且文件數量比較多的時候,可能會造成卡頓等情況,進而影響程式的使用體驗。今天就以一個簡單的小例子,簡述兩種不同的判斷文件是否... ...
  • 前言 資料庫併發,數據審計和軟刪除一直是數據持久化方面的經典問題。早些時候,這些工作需要手寫複雜的SQL或者通過存儲過程和觸發器實現。手寫複雜SQL對軟體可維護性構成了相當大的挑戰,隨著SQL字數的變多,用到的嵌套和複雜語法增加,可讀性和可維護性的難度是幾何級暴漲。因此如何在實現功能的同時控制這些S ...