線程池中的一個 BUG，註意了！！

来源:https://www.cnblogs.com/javastack/archive/2022/08/30/16640305.html
-Advertisement-
Play Games

來源：https://segmentfault.com/a/1190000021109130 問題描述 前幾天在幫同事排查生產一個線上偶發的線程池錯誤 邏輯很簡單，線程池執行了一個帶結果的非同步任務。但是最近有偶發的報錯： java.util.concurrent.RejectedExecutionE ...


來源：https://segmentfault.com/a/1190000021109130

問題描述

前幾天在幫同事排查生產一個線上偶發的線程池錯誤

邏輯很簡單，線程池執行了一個帶結果的非同步任務。但是最近有偶發的報錯：

java.util.concurrent.RejectedExecutionException: Task java.util.concurrent.FutureTask@a5acd19 rejected from java.util.concurrent.ThreadPoolExecutor@30890a38[Terminated, pool size = 0, active threads = 0, queued tasks = 0, completed tasks = 0]

本文中的模擬代碼已經問題都是在HotSpot java8 (1.8.0_221)版本下模擬&出現的

下麵是模擬代碼，通過Executors.newSingleThreadExecutor創建一個單線程的線程池，然後在調用方獲取Future的結果

public class ThreadPoolTest {

    public static void main(String[] args) {
        final ThreadPoolTest threadPoolTest = new ThreadPoolTest();
        for (int i = 0; i < 8; i++) {
            new Thread(new Runnable() {
                @Override
                public void run() {
                    while (true) {

                        Future<String> future = threadPoolTest.submit();
                        try {
                            String s = future.get();
                        } catch (InterruptedException e) {
                            e.printStackTrace();
                        } catch (ExecutionException e) {
                            e.printStackTrace();
                        } catch (Error e) {
                            e.printStackTrace();
                        }
                    }
                }
            }).start();
        }
        
        //子線程不停gc，模擬偶發的gc
        new Thread(new Runnable() {
            @Override
            public void run() {
                while (true) {
                    System.gc();
                }
            }
        }).start();
    }

    /**
     * 非同步執行任務
     * @return
     */
    public Future<String> submit() {
        //關鍵點，通過Executors.newSingleThreadExecutor創建一個單線程的線程池
        ExecutorService executorService = Executors.newSingleThreadExecutor();
        FutureTask<String> futureTask = new FutureTask(new Callable() {
            @Override
            public Object call() throws Exception {
                Thread.sleep(50);
                return System.currentTimeMillis() + "";
            }
        });
        executorService.execute(futureTask);
        return futureTask;
    }

}

分析&疑問

第一個思考的問題是：線程池為什麼關閉了，代碼中並沒有手動關閉的地方。看一下Executors.newSingleThreadExecotor的源碼實現：

public static ExecutorService newSingleThreadExecutor() {
    return new FinalizableDelegatedExecutorService
            (new ThreadPoolExecutor(1, 1,
                    0L, TimeUnit.MILLISECONDS,
                    new LinkedBlockingQueue<Runnable>()));
}

這裡創建的實際上是一個FinalizableDelegatedExecutorService，這個包裝類重寫了finalize函數，也就是說這個類會在被GC回收之前，先執行線程池的shutdown方法。

問題來了，GC只會回收不可達（unreachable）的對象，在submit函數的棧幀未執行完出棧之前，executorService應該是可達的才對。

更多多線程系列教程：https://www.javastack.cn/categories/Java/

對於此問題，先拋出結論：

當對象仍存在於作用域（stack frame）時，finalize也可能會被執行

oracle jdk文檔中有一段關於finalize的介紹：

A reachable object is any object that can be accessed in any potential continuing computation from any live thread.

Optimizing transformations of a program can be designed that reduce the number of objects that are reachable to be less than those which would naively be considered reachable. For example, a Java compiler or code generator may choose to set a variable or parameter that will no longer be used to null to cause the storage for such an object to be potentially reclaimable sooner.

大概意思是：可達對象(reachable object)是可以從任何活動線程的任何潛在的持續訪問中的任何對象；java編譯器或代碼生成器可能會對不再訪問的對象提前置為null，使得對象可以被提前回收

也就是說，在jvm的優化下，可能會出現對象不可達之後被提前置空並回收的情況

舉個例子來驗證一下，摘自：https://stackoverflow.com/questions/24376768/can-java-finalize-an-object-when-it-is-still-in-scope

class A {
    @Override protected void finalize() {
        System.out.println(this + " was finalized!");
    }

    public static void main(String[] args) throws InterruptedException {
        A a = new A();
        System.out.println("Created " + a);
        for (int i = 0; i < 1_000_000_000; i++) {
            if (i % 1_000_00 == 0)
                System.gc();
        }
        System.out.println("done.");
    }
}

//列印結果
Created A@1be6f5c3
A@1be6f5c3 was finalized!//finalize方法輸出
done.

從例子中可以看到，如果a在迴圈完成後已經不再使用了，則會出現先執行finalize的情況；雖然從對象作用域來說，方法沒有執行完，棧幀並沒有出棧，但是還是會被提前執行。

現在來增加一行代碼，在最後一行列印對象a，讓編譯器/代碼生成器認為後面有對象a的引用

...
System.out.println(a);

//列印結果
Created A@1be6f5c3
done.
A@1be6f5c3

從結果上看，finalize方法都沒有執行（因為main方法執行完成後進程直接結束了），更不會出現提前finalize的問題了

基於上面的測試結果，再測試一種情況，在迴圈之前先將對象a置為null，並且在最後列印保持對象a的引用

A a = new A();
System.out.println("Created " + a);
a = null;//手動置null
for (int i = 0; i < 1_000_000_000; i++) {
    if (i % 1_000_00 == 0)
        System.gc();
}
System.out.println("done.");
System.out.println(a);

//列印結果
Created A@1be6f5c3
A@1be6f5c3 was finalized!
done.
null

從結果上看，手動置null的話也會導致對象被提前回收，雖然在最後還有引用，但此時引用的也是null了

現在再回到上面的線程池問題，根據上面介紹的機制，在分析沒有引用之後，對象會被提前finalize

可在上述代碼中，return之前明明是有引用的executorService.execute(futureTask)，為什麼也會提前finalize呢？

猜測可能是由於在execute方法中，會調用threadPoolExecutor，會創建並啟動一個新線程，這時會發生一次主動的線程切換，導致在活動線程中對象不可達

結合上面Oracle Jdk文檔中的描述“可達對象(reachable object)是可以從任何活動線程的任何潛在的持續訪問中的任何對象”，可以認為可能是因為一次顯示的線程切換，對象被認為不可達了，導致線程池被提前finalize了

下麵來驗證一下猜想：

//入口函數
public class FinalizedTest {
    public static void main(String[] args) {
        final FinalizedTest finalizedTest = new FinalizedTest();
        for (int i = 0; i < 8; i++) {
            new Thread(new Runnable() {
                @Override
                public void run() {
                    while (true) {
                        TFutureTask future = finalizedTest.submit();
                    }
                }
            }).start();
        }
        new Thread(new Runnable() {
            @Override
            public void run() {
                while (true) {
                    System.gc();
                }
            }
        }).start();
    }
    public TFutureTask submit(){
        TExecutorService TExecutorService = Executors.create();
        TExecutorService.execute();
        return null;
    }
}

//Executors.java，模擬juc的Executors
public class Executors {
    /**
     * 模擬Executors.createSingleExecutor
     * @return
     */
    public static TExecutorService create(){
        return new FinalizableDelegatedTExecutorService(new TThreadPoolExecutor());
    }

    static class FinalizableDelegatedTExecutorService extends DelegatedTExecutorService {

        FinalizableDelegatedTExecutorService(TExecutorService executor) {
            super(executor);
        }
        
        /**
         * 析構函數中執行shutdown，修改線程池狀態
         * @throws Throwable
         */
        @Override
        protected void finalize() throws Throwable {
            super.shutdown();
        }
    }

    static class DelegatedTExecutorService extends TExecutorService {

        protected TExecutorService e;

        public DelegatedTExecutorService(TExecutorService executor) {
            this.e = executor;
        }

        @Override
        public void execute() {
            e.execute();
        }

        @Override
        public void shutdown() {
            e.shutdown();
        }
    }
}

//TThreadPoolExecutor.java，模擬juc的ThreadPoolExecutor
public class TThreadPoolExecutor extends TExecutorService {

    /**
     * 線程池狀態，false：未關閉，true已關閉
     */
    private AtomicBoolean ctl = new AtomicBoolean();

    @Override
    public void execute() {
        //啟動一個新線程，模擬ThreadPoolExecutor.execute
        new Thread(new Runnable() {
            @Override
            public void run() {

            }
        }).start();
        //模擬ThreadPoolExecutor，啟動新建線程後，迴圈檢查線程池狀態，驗證是否會在finalize中shutdown
        //如果線程池被提前shutdown，則拋出異常
        for (int i = 0; i < 1_000_000; i++) {
            if(ctl.get()){
                throw new RuntimeException("reject!!!["+ctl.get()+"]");
            }
        }
    }

    @Override
    public void shutdown() {
        ctl.compareAndSet(false,true);
    }
}

執行若幹時間後報錯：

Exception in thread "Thread-1" java.lang.RuntimeException: reject!!![true]

從錯誤上來看，“線程池”同樣被提前shutdown了，那麼一定是由於新建線程導致的嗎？

下麵將新建線程修改為Thread.sleep測試一下：

//TThreadPoolExecutor.java，修改後的execute方法
public void execute() {
    try {
        //顯式的sleep 1 ns，主動切換線程
        TimeUnit.NANOSECONDS.sleep(1);
    } catch (InterruptedException e) {
        e.printStackTrace();
    }
    //模擬ThreadPoolExecutor，啟動新建線程後，迴圈檢查線程池狀態，驗證是否會在finalize中shutdown
    //如果線程池被提前shutdown，則拋出異常
    for (int i = 0; i < 1_000_000; i++) {
        if(ctl.get()){
            throw new RuntimeException("reject!!!["+ctl.get()+"]");
        }
    }
}

執行結果一樣是報錯

Exception in thread "Thread-3" java.lang.RuntimeException: reject!!![true]

由此可得，如果在執行的過程中，發生一次顯式的線程切換，則會讓編譯器/代碼生成器認為外層包裝對象不可達

總結

雖然GC只會回收不可達GC ROOT的對象，但是在編譯器（沒有明確指出，也可能是JIT）/代碼生成器的優化下，可能會出現對象提前置null，或者線程切換導致的“提前對象不可達”的情況。

所以如果想在finalize方法里做些事情的話，一定在最後顯示的引用一下對象（toString/hashcode都可以），保持對象的可達性（reachable）

上面關於線程切換導致的對象不可達，沒有官方文獻的支持，只是個人一個測試結果，如有問題歡迎指出

綜上所述，這種回收機制並不是JDK的bug，而算是一個優化策略，提前回收而已；但Executors.newSingleThreadExecutor的實現里通過finalize來自動關閉線程池的做法是有Bug的，在經過優化後可能會導致線程池的提前shutdown，從而導致異常。

線程池的這個問題，在JDK的論壇里也是一個公開但未解決狀態的問題：https://bugs.openjdk.java.net/browse/JDK-8145304。

不過在JDK11下，該問題已經被修複：

JUC  Executors.FinalizableDelegatedExecutorService
public void execute(Runnable command) {
    try {
        e.execute(command);
    } finally { reachabilityFence(this); }
}

近期熱文推薦：

1.1,000+ 道 Java面試題及答案整理(2022最新版)

2.勁爆！Java 協程要來了。。。

3.Spring Boot 2.x 教程，太全了！

4.別再寫滿屏的爆爆爆炸類了，試試裝飾器模式，這才是優雅的方式！！

5.《Java開發手冊（嵩山版）》最新發佈，速速下載！

覺得不錯，別忘了隨手點贊+轉發哦！


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • HashMap面試相關
    HashMap源碼: 載入因數:loadFactory -- 預設 0.75f 初始容量大小: capacity 預設 16, 最大限制 1<<30 擴容: 當數組元素的數量 > 初始容量大小 * 載入因數,就會擴容. 會調用rehash方法將數組長度擴容到之前的兩倍.擴容的時候,會生成一個新的數組 ...
  • 基礎數據類型之數字和字元串
    1.數字類型 數字類型的數據可以相互的進行+-/*、也可以進行相互的比較（<>=） 1.1整型int age = 18 記錄年齡等整數 print（type（age））# int類型 int（）方法可以將其他類型的數據轉換成int類型 1.1.2二、八、十六進位的相互轉換 1.十進位《 》二進位 # ...
  • 《笨辦法學Python3 》PDF高清版入坑必備！！！
    《笨辦法學Python3 》PDF高清版免費下載地址 ↑ ↑ ↑ ↑ ↑ ↑ ↑ 點擊即可下載 內容簡介 · · · · · · 本書是一本Python入門書籍，適合對電腦瞭解不多，沒有學過編程，但對編程感興趣的讀者學習使用。這本書以習題的方式引導讀者一步一步學習編程，從簡單的列印一直講到完整項目 ...
  • day29--Java泛型02
    Java泛型02 5.自定義泛型 5.1自定義泛型類 基本語法： class 類名<T,R...>{//…表示可以有多個泛型 成員 } 註意細節： 普通成員可以使用泛型（屬性、方法） 使用泛型的數組不能初始化 靜態方法中不能使用類的泛型 泛型類的類型，是在創建類的對象時確定的（因為創建對象時，需要指 ...
  • 2022-8-30 servlet
    ##HttpServletRequest request(請求) 所有的 和請求相關的操作，都用這對象來處理 當有請求來的時候 ， request就被實例化 ##HttpServletResponse response(響應) 所有和響應相關的操作，都用這個對象來處理 當有請求來的時候 ， resp ...
  • Get請求使用請求體傳遞參數會報400異常的問題
    問題描述： 前端使用Get請求並且使用請求體傳遞參數，後端使用@RequestBody註解封裝參數，這時會出現400的異常信息。 解決方法： 1、Get請求不要使用請求體，使用請求體的話用POST請求。（建議，這樣才是正常的規範寫法） 2、保留Get請求與請求體，後端也可以用對象來封裝請求體中的參數 ...
  • python的django寫頁面上傳文件以及遇到的問題
    首先上結構 mynode -> app5 -> urls.py & views.py | -> templates -> 5 -> upload.html | -> mynode -> urls.py | -> media 按照順序，先上app5/urls.py from django.urls i ...
  • 大道如青天,協程來通信,Go lang1.18入門精煉教程，由白丁入鴻儒，Go lang通道channel的使用EP14
    眾所周知，Go lang的作用域相對嚴格，數據之間的通信往往要依靠參數的傳遞，但如果想在多個協程任務中間做數據通信，就需要通道（channel）的參與，我們可以把數據封裝成一個對象，然後把這個對象的指針傳入某個通道變數中，另外一個協程從這個通道中讀出變數的指針，並處理其指向的記憶體對象。 通道的聲明與 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類