小伙子,你懂線程池的創建嗎?

来源:https://www.cnblogs.com/yurenjun/archive/2020/07/12/13289483.html
-Advertisement-
Play Games

為什麼阿裡巴巴要禁用Executors創建線程池?看阿裡巴巴開發手冊併發編程這塊有一條:線程池不允許使用Executors去創建,而是通過ThreadPoolExecutor的方式,通過源碼分析禁用的原因 一、線程池的定義 管理一組工作線程。通過線程池復用線程有以下幾點優點: 減少資源創建 ⇒ 減少 ...


為什麼阿裡巴巴要禁用Executors創建線程池?看阿裡巴巴開發手冊併發編程這塊有一條:線程池不允許使用Executors去創建,而是通過ThreadPoolExecutor的方式,通過源碼分析禁用的原因

一、線程池的定義

管理一組工作線程。通過線程池復用線程有以下幾點優點:

  • 減少資源創建 => 減少記憶體開銷,創建線程占用記憶體
  • 降低系統開銷 => 創建線程需要時間,會延遲處理的請求
  • 提高穩定穩定性 => 避免無限創建線程引起的OutOfMemoryError【簡稱OOM】

二、 Executors創建線程池的方式

根據返回的對象類型創建線程池可以分為三類:

  • 創建返回ThreadPoolExecutor對象
  • 創建返回ScheduleThreadPoolExecutor對象
  • 創建返回ForkJoinPool對象

三、ThreadPoolExecutor對象

因為這些創建線程池的靜態方法都是返回ThreadPoolExecutor對象,和我們手動創建ThreadPoolExecutor對象的區別就是我們不需要自己傳構造函數的參數。ThreadPoolExecutor的構造函數共有四個,但最終調用的都是同一個:

public ThreadPoolExecutor(int corePoolSize,
                          int maximumPoolSize,
                          long keepAliveTime,
                          TimeUnit unit,
                          BlockingQueue<Runnable> workQueue,
                          ThreadFactory threadFactory,
                          RejectedExecutionHandler handler)

構造函數參數說明:

  • corePoolSize => 線程池核心線程數量
  • maximumPoolSize => 線程池最大數量
  • keepAliveTime => 空閑線程存活時間
  • unit => 時間單位
  • workQueue => 線程池所使用的緩衝隊列
  • threadFactory => 線程池創建線程使用的工廠
  • handler => 線程池對拒絕任務的處理策略

四、線程池執行任務邏輯和線程池參數的關係

image-20200205095809050

執行邏輯說明:

  • 判斷核心線程數是否已滿,核心線程數大小和corePoolSize參數有關,未滿則創建線程執行任務
  • 若核心線程池已滿,判斷隊列是否滿,隊列是否滿和workQueue參數有關,若未滿則加入隊列中
  • 若隊列已滿,判斷線程池是否已滿,線程池是否已滿和maximumPoolSize參數有關,若未滿創建線程執行任務
  • 若線程池已滿,則採用拒絕策略處理無法執執行的任務,拒絕策略和handler參數有關

五、Executors創建返回ThreadPoolExecutor對象

Executors創建返回ThreadPoolExecutor對象的方法共有三種:

  • Executors#newCachedThreadPool => 創建可緩存的線程池
  • Executors#newSingleThreadExecutor => 創建單線程的線程池
  • Executors#newFixedThreadPool => 創建固定長度的線程池
5.1Executors#newCachedThreadPool方法
public static ExecutorService newCachedThreadPool() {
    return new ThreadPoolExecutor(0, Integer.MAX_VALUE,
                                  60L, TimeUnit.SECONDS,
                                  new SynchronousQueue<Runnable>());
}
  • CachedThreadPool是一個根據需要創建新線程的線程池
  • corePoolSize => 0,核心線程池的數量為0
  • maximumPoolSize => Integer.MAX_VALUE,線程池最大數量為Integer.MAX_VALUE,可以認為可以無限創建線程
  • keepAliveTime => 60L
  • unit => 秒
  • workQueue => SynchronousQueue

當一個任務提交時,corePoolSize為0不創建核心線程,SynchronousQueue是一個不存儲元素的隊列,可以理解為隊里永遠是滿的,因此最終會創建非核心線程來執行任務。對於非核心線程空閑60s時將被回收。**因為Integer.MAX_VALUE非常大,可以認為是可以無限創建線程的,在資源有限的情況下容易引起OOM異常

5.2 Executors#newSingleThreadExecutor方法
public static ExecutorService newSingleThreadExecutor() {
    return new FinalizableDelegatedExecutorService
        (new ThreadPoolExecutor(1, 1,
                                0L, TimeUnit.MILLISECONDS,
                                new LinkedBlockingQueue<Runnable>()));
}

SingleThreadExecutor是單線程線程池,只有一個核心線程

  • corePoolSize => 1,核心線程池的數量為1
  • maximumPoolSize => 1,線程池最大數量為1,即最多只可以創建一個線程,唯一的線程就是核心線程
  • keepAliveTime => 0L
  • unit => 毫秒
  • workQueue => LinkedBlockingQueue

當一個任務提交時,首先會創建一個核心線程來執行任務,如果超過核心線程的數量,將會放入隊列中,因為LinkedBlockingQueue是長度為Integer.MAX_VALUE的隊列,可以認為是無界隊列,因此往隊列中可以插入無限多的任務,在資源有限的時候容易引起OOM異常,同時因為無界隊列,maximumPoolSizekeepAliveTime參數將無效,壓根就不會創建非核心線程

5.3 Executors#newFixedThreadPool方法
public static ExecutorService newFixedThreadPool(int nThreads) {
    return new ThreadPoolExecutor(nThreads, nThreads,
                                  0L, TimeUnit.MILLISECONDS,
                                  new LinkedBlockingQueue<Runnable>());
}

FixedThreadPool是固定核心線程的線程池,固定核心線程數由用戶傳入

  • corePoolSize => nThreads,核心線程池的數量為1
  • maximumPoolSize => nThreads,線程池最大數量為nThreads,即最多只可以創建nThreads個線程
  • keepAliveTime => 0L
  • unit => 毫秒
  • workQueue> LinkedBlockingQueue 它和SingleThreadExecutor類似,唯一的區別就是核心線程數不同,並且由於**使用的是LinkedBlockingQueue,在資源有限的時候容易引起OOM異常

六、三種方式總結

  • FixedThreadPool和SingleThreadExecutor => 允許的請求隊列長度為Integer.MAX_VALUE,可能會堆積大量的請求,從而引起OOM異常
  • CachedThreadPool => 允許創建的線程數為Integer.MAX_VALUE,可能會創建大量的線程,從而引起OOM異常

七、OOM異常測試

public class TaskTest {
    public static void main(String[] args) {
        ExecutorService es = Executors.newCachedThreadPool();
        int i = 0;
        while (true) {
            es.submit(new Task(i++));
        }
    }
}

使用Executors創建的CachedThreadPool,往線程池中無限添加線程 在啟動測試類之前先將JVM記憶體調整小一點,不然很容易將電腦跑出問題,在idea里:Run -> Edit Configurations

image-20200205095809050

創建到3w多個線程的時候開始報OOM錯誤
另外兩個線程池就不做測試了,測試方法一致,只是創建的線程池不一樣

image-20200205095809050

八、如何定義線程池參數

  • CPU密集型 => 線程池的大小推薦為CPU數量 + 1,CPU數量可以根據Runtime.availableProcessors方法獲取
  • IO密集型 => CPU數量 * CPU利用率 * (1 + 線程等待時間/線程CPU時間)
  • 混合型 => 將任務分為CPU密集型和IO密集型,然後分別使用不同的線程池去處理,從而使每個線程池可以根據各自的工作負載來調整
  • 阻塞隊列 => 推薦使用有界隊列,有界隊列有助於避免資源耗盡的情況發生
  • 拒絕策略 => 預設採用的是AbortPolicy拒絕策略,直接在程式中拋出 RejectedExecutionException 異常【因為是運行時異常,不強制catch】,這種處理方式不夠優雅。處理拒絕策略有以下幾種比較推薦:
    • 在程式中捕獲RejectedExecutionException異常,在捕獲異常中對任務進行處理。針對預設拒絕策略
    • 使用CallerRunsPolicy拒絕策略,該策略會將任務交給調用execute的線程執行【一般為主線程】,此時主線程將在一段時間內不能提交任何任務,從而使工作線程處理正在執行的任務。此時提交的線程將被保存在TCP隊列中,TCP隊列滿將會影響客戶端,這是一種平緩的性能降低
    • 自定義拒絕策略,只需要實現RejectedExecutionHandler介面即可
    • 如果任務不是特別重要,使用DiscardPolicyDiscardOldestPolicy拒絕策略將任務丟棄也是可以的

如果使用Executors的靜態方法創建ThreadPoolExecutor對象,可以通過使用Semaphore對任務的執行進行限流也可以避免出現OOM異常

九、如何正確的創建線程池

9.1 ScheduledExecutorService
ScheduledExecutorService executorService = new ScheduledThreadPoolExecutor(1,
	new BasicThreadFactory.Builder().namingPattern("example-schedule-pool-%d").daemon(true).build()
);

executorService.execute(() -> System.out.println("run"));
9.2 new ThreadFactoryBuilder()
ThreadFactory namedThreadFactory = new ThreadFactoryBuilder().setNameFormat("demo-pool-%d").build();

ExecutorService executor = new ThreadPoolExecutor(
		5, 200, 0L, TimeUnit.MILLISECONDS,
		new LinkedBlockingQueue<>(1024), namedThreadFactory, new ThreadPoolExecutor.AbortPolicy()
);
executor.submit(() -> System.out.println(Thread.currentThread().getName() + "run"));
executor.shutdown();
9.3 ThreadPoolTaskExecutor xml方式

https://juejin.im/post/5dc41c165188257bad4d9e69

https://my.oschina.net/u/4440046/blog/3190998

本文由博客群發一文多發等運營工具平臺 OpenWrite 發佈


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 為了方便以後配置新的windows電腦java、idea,所以專門記錄一下 1:JDK JDK是 Java 語言的軟體開發工具包,主要用於移動設備、嵌入式設備上的java應用程式。JDK是整個java開發的核心,它包含了JAVA的運行環境(JVM+Java系統類庫)和JAVA工具。所以首先要配置好j ...
  • 描述Python的變數聲明,可覷其語言設計思路,實現更快地代碼閱讀。 變數聲明 C# public、protect、private、internal 明確指出適用範圍 (完全公開、子類可訪問、僅自己可訪問、程式集內可訪問) Python 有點神奇,沒有不能訪問的變數,一般通過“潛規則”暗示其私有性 ...
  • pyenv 簡介 pyenv 是 Python 版本管理工具。 pyenv 可以改變全局的 Python 版本,在系統中安裝多個版本的 Python, 設置目錄級別的 Python 版本,還能創建和管理 virtual python environments。 安裝 pyenv 安裝git:~]# ...
  • 一、記憶體模型及分區 JVM 分為堆區和棧區,還有方法區,初始化的對象放在堆裡面,引用放在棧裡面,class 類信息常量池(static 常量和 static 變數)等放在方法區。 1、棧(Stack-線程私有) 1.1 棧的結構是棧幀組成的,調用一個方法就壓入一幀,幀上面存儲局部變數表,操作數棧,方 ...
  • 一個整數類型的變數自身加 1 可以這樣寫: a = a + 1; 或者 a += 1; 不過,C語言還支持另外一種更加簡潔的寫法,就是: a++; 或者 ++a; 這種寫法叫做自加或自增,意思很明確,就是每次自身加 1。 相應的,也有a--和--a,它們叫做自減,表示自身減 1。 ++和--分別稱為 ...
  • 文章已托管到GitHub,大家可以去GitHub查看閱讀,歡迎老闆們前來Star! 搜索關註微信公眾號 碼出Offer 領取各種學習資料! 深度理解Spring IOC(控制反轉) 一、IOC概述 Inverse Of Controll即為控制反轉,簡稱IOC 。 簡單來說,IOC反轉了依賴關係的滿 ...
  • 【一、項目背景】 讓更多的人去學習html,以廣東科技學院的導航欄為例, 教大家怎麼去做一個橫向的導航欄。 【二、項目準備】 準備一個編程的軟體Dreamweaver,打開軟體點擊文件新建一個叫導航欄的項目,如下圖所示。 點擊確定之後,會彈出下圖。 【三、項目實施】 1. 在標簽裡面寫下一個框架: ...
  • 可能在synchronized關鍵字的實現原理中,你已經知道了它的底層是使用Monitor的相關指令來實現的,但是還不清楚Monitor的具體細節。本文將讓你徹底Monitor的底層實現原理。 管程 一個管程可以被認為是一個帶有特殊房間的建築,這個特殊房間只能被一個線程占用。這個房間包含很多數據和代 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...