Java配置線程池

来源:https://www.cnblogs.com/kakarotto-chen/archive/2023/05/24/17428432.html
-Advertisement-
Play Games

# 一、Java配置線程池 ## 1、線程池==分類==、其他 ### 1.1、分類 ==IO密集型 和 CPU密集型== 任務的特點不同,因此針對不同類型的任務,選擇不同類型的線程池可以獲得更好的性能表現。 #### 1.1. IO密集型任務 ​ IO密集型任務的特點是需要頻繁讀寫磁碟、網路或者其 ...


一、Java配置線程池

1、線程池分類、其他

1.1、分類

IO密集型 和 CPU密集型 任務的特點不同,因此針對不同類型的任務,選擇不同類型的線程池可以獲得更好的性能表現。

1.1. IO密集型任務

​ IO密集型任務的特點是需要頻繁讀寫磁碟、網路或者其他IO資源,執行時間長,CPU占用率較低。

對於這類任務,線程的執行時間主要取決於IO操作的速度,而非CPU的執行能力。

​ 因此,線程池的線程數應該設置較大,以便充分利用IO資源。

通常建議使用CachedThreadPool線程池或者FixedThreadPool線程池來處理IO密集型任務。

1.2. CPU密集型任務

​ CPU密集型任務的特點是需要進行大量的計算,執行時間長,CPU占用率較高。

對於這類任務,線程的執行時間主要取決於CPU的執行能力。

​ 因此,線程池的線程數應該設置較小,以充分利用CPU的計算能力,避免過多的線程切換和上下文切換導致的性能損失。

通常建議使用FixedThreadPool線程池或者SingleThreadPool線程池來處理CPU密集型任務。


總之,選擇恰當的線程池類型可以充分發揮不同類型任務的性能,提高程式效率和響應速度。

1.2. 非同步線程池的選擇

對於非同步線程池,通常建議使用IO密集型線程池。
非同步任務通常是網路IO或磁碟IO等操作,這些操作的執行時間相對於CPU計算的執行時間要長得多。
使用IO密集型線程池可以更好地利用IO資源,提高多個非同步任務的執行效率和吞吐量,
同時避免由於過多的線程切換和上下文切換導致的性能損失。

1.3. 線程池工作步奏

很多任務——》線程池創建核心線程——》任務超過最大線程——》把任務放入隊列中等待執行——》隊列中放滿了——》進入處理策略

2、線程池參數、合理參數

2.1、參數

①、核心線程數

當線程池中的線程數量為 corePoolSize核心線程數 時,即使這些線程處於空閑狀態,也不會銷毀(除非設置 allowCoreThreadTimeOut=true)。
//  -> 核心線程,也就是正在處理中的任務
//  -> 雖然 CPU 核心數可以作為線程池中線程數量的參考指標,但最終線程數量還需要根據具體情況進行設置和調整。
//  -> 如果同時運行的線程數量超過 CPU 核心數,就會發生--線程上下文切換--,導致額外的開銷和性能下降。所以線程不能創建得過多

②、最大線程數

線程池中允許的線程數量的最大值。
        //  -> 當線程數 = maxPoolSize最大線程數時,還有新任務,就會放進隊列中等待執行 ↓↓↓

③、隊列長度

當核心線程數達到最大時,新任務會放在隊列中排隊等待執行
        //  -> 根據業務配置,如果隊列長度過大,可能會導致系統記憶體資源占用過高,最終導致 OOM,需要註意控制
        //  -> 如果需要執行的任務裝滿了隊列,就會走拒絕策略 ↓↓↓

④、拒絕策略

(官方提供4種,也可以自定義):因達到線程邊界和任務隊列滿時,針對新任務的處理方法。
        // -> AbortPolicy:直接丟棄任務並拋出 RejectedExecutionException 異常。(預設策略)
        // -> DiscardPolicy:直接丟棄掉,不會拋出異常
        // -> DiscardOldestPolicy:丟棄隊列最前面的任務,然後重新嘗試執行任務(重覆此過程)
        // -> CallerRunsPolicy:交給主線程(調用線程)去執行

⑤、空閑線程存活時間

(預設60s):設置當前線程池中空閑線程的存活時間,即線程池中的線程如果有一段時間沒有任務可執行,則會被回收掉。
        //  -> 當線程池中的線程數大於 corePoolSize 時,多餘的空閑線程將在銷毀之前等待新任務的最長時間。
        //  -> 如果一個線程在空閑時間超過了 keepAliveSeconds,且當前線程池中線程數量大於 corePoolSize,則該線程將會被回收;
        //  -> 核心線程會一直存活,除非線程池被關閉 或 設置下麵的參數
        //  -> 如果 AllowCoreThreadTimeout設置為true,核心線程也會被回收,直到線程池中的線程數降為 0。
        //     但如果線程池中有任務在執行,那麼空閑線程就會一直保持存活狀態,直到任務執行完畢。
        //  -> 該方法的使用可以將線程池的空閑線程回收,以減少資源占用,同時也能保證線程池中始終有可用的線程來執行任務,提高線程池的效率。

⑥、是否禁止線程池自動終止空閑的核心線程

為 true 時,空閑的核心線程會在 keepAliveTime 時間後被回收,並且在後續任務到來時需要重新創建線程來執行任務。
        // 為 false 時,線程池中的核心線程不會被回收,即使它們處於空閑狀態一段時間。
        //  -> 線上程池創建時,就會預先創建核心線程數的線程,這些線程將一直存在,除非線程池被關閉或重新配置。

⑦、當前線程池的等待時間

指等待所有任務執行完畢後線程池的最長時間。300秒 = 5分鐘
        // -> 當所有任務執行完畢後,線程池會等待一段時間(即等待時間),來確保所有任務都已經完成。
        // -> 如果在等待時間內所有任務仍未完成,則線程池會強制停止,以確保任務不會無限制地執行下去。

⑧、當前線程池是否在關閉時等待所有任務執行完成

		// -> 可以確保所有任務都執行完畢後才關閉線程池,避免任務被丟棄,同時也確保線程池可以正常結束,釋放資源。
        // -> 為 true 時,線程池在關閉時會等待所有任務都執行完成後再關閉
        // -> 為 false 時,線程池會直接關閉,未執行完成的任務將被丟棄。

⑨、線程名稱首碼

		// 9線程首碼名稱
        executor.setThreadNamePrefix("myIo-Th-Pool-");
        // 初始化
        executor.initialize();

2.2、合理配置

①線程數量:N = 電腦cpu數量

  • 如果同時運行的線程數量超過 CPU 核心數,就會發生--線程上下文切換--,導致額外的開銷和性能下降。所以線程不能創建得過多
  • 一般的配置如下:也可以通過計算獲取。
     * IO密級 :2 * N
     * CPU密級:1 + N

②隊列長度:

  • 如果隊列長度過大,可能會導致系統記憶體資源占用過高,最終導致 OOM,需要註意控制
  • 根據自身業務配置

3、配置

3.1、配置線程池的Bean的選擇

配置線程池選擇:ThreadPoolTaskExecutor(Spring項目推薦),還是選擇ThreadPoolExecutor?

ThreadPoolTaskExecutor 是 Spring 框架中對 Java 自帶的線程池 ThreadPoolExecutor 進行了封裝和擴展,並增加了一些優化和功能。通常來說,如果你使用 Spring 框架,需要使用線程池,那麼建議使用 ThreadPoolTaskExecutor。 ThreadPoolTaskExecutor 提供了更多的配置選項,例如線程池的最大線程數、核心線程數、緩衝隊列大小、線程命名首碼、線程池飽和策略等等,同時可以方便地集成到 Spring 應用中。另外,ThreadPoolTaskExecutor 還能夠支持非同步執行任務,使用方便。 相比之下,ThreadPoolExecutor 是 Java 自帶的線程池實現類,提供了基本的線程池功能,但沒有 ThreadPoolTaskExecutor 提供的更多配置選項和功能。如果你不使用 Spring 框架,或者使用 Spring 框架但不需要使用其提供的線程池實現,那麼可以考慮使用 ThreadPoolExecutor。

綜上所述,選擇使用 ThreadPoolTaskExecutor 還是 ThreadPoolExecutor 取決於具體的業務需求和技術棧,可以根據實際情況進行選擇。

3.2、獲取當前電腦(伺服器)的核心線程數

int N = Runtime.getRuntime().availableProcessors()

3.3、IO密集型

package com.cc.md.config;

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.annotation.EnableAsync;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;

import java.util.concurrent.ThreadPoolExecutor;

/** IO型的線程池
 * <li>IO密集型配置線程數經驗值是:2N (CPU核數*2)</li>
 * <li>非同步線程池:建議用io密集型:</li>
 *      對於非同步線程池,通常建議使用IO密集型線程池。
 *      非同步任務通常是網路IO或磁碟IO等操作,這些操作的執行時間相對於CPU計算的執行時間要長得多。
 *      使用IO密集型線程池可以更好地利用IO資源,提高多個非同步任務的執行效率和吞吐量,
 *      同時避免由於過多的線程切換和上下文切換導致的性能損失。
 * @author CC
 * @since 2023/5/23 0023
 */
@Configuration
@EnableAsync
public class IoThreadPool {

    /** 線程數量
     * CUP數量:N = Runtime.getRuntime().availableProcessors()
     * IO密級:2 * N
     * CPU密級:1 + N
     */
    public static final int THREAD_SIZE = 2 * (Runtime.getRuntime().availableProcessors());
    /**
     * 隊列大小
     */
    public static final int QUEUE_SIZE = 1000;

    @Bean(name = "myIoThreadPool")
    public ThreadPoolTaskExecutor threadPoolExecutor(){
        //配置線程池選擇:ThreadPoolTaskExecutor,還是選擇ThreadPoolExecutor好些?
        // -> ThreadPoolTaskExecutor 是 Spring 框架中對 Java 自帶的線程池 ThreadPoolExecutor 進行了封裝和擴展,
        //    並增加了一些優化和功能。通常來說,如果你使用 Spring 框架,需要使用線程池,那麼建議使用 ThreadPoolTaskExecutor。
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        // 1核心線程數:當線程池中的線程數量為 corePoolSize 時,即使這些線程處於空閑狀態,也不會銷毀(除非設置 allowCoreThreadTimeOut=true)。
        //  -> 核心線程,也就是正在處理中的任務
        //  -> 雖然 CPU 核心數可以作為線程池中線程數量的參考指標,但最終線程數量還需要根據具體情況進行設置和調整。
        //  -> 如果同時運行的線程數量超過 CPU 核心數,就會發生--線程上下文切換--,導致額外的開銷和性能下降。所以線程不能創建得過多
        executor.setCorePoolSize(THREAD_SIZE);
        // 2最大線程數:線程池中允許的線程數量的最大值。
        //  -> 當線程數 = maxPoolSize最大線程數時,還有新任務,就會放進隊列中等待執行 ↓↓↓
        executor.setMaxPoolSize(THREAD_SIZE);
        // 3隊列長度:當核心線程數達到最大時,新任務會放在隊列中排隊等待執行
        //  -> 根據業務配置,如果隊列長度過大,可能會導致系統記憶體資源占用過高,最終導致 OOM,需要註意控制
        //  -> 如果需要執行的任務裝滿了隊列,就會走拒絕策略 ↓↓↓
        executor.setQueueCapacity(QUEUE_SIZE);
        // 4拒絕策略(官方提供4種,也可以自定義):因達到線程邊界和任務隊列滿時,針對新任務的處理方法。
        // -> AbortPolicy:直接丟棄任務並拋出 RejectedExecutionException 異常。(預設策略)
        // -> DiscardPolicy:直接丟棄掉,不會拋出異常
        // -> DiscardOldestPolicy:丟棄隊列最前面的任務,然後重新嘗試執行任務(重覆此過程)
        // -> CallerRunsPolicy:交給主線程(調用線程)去執行
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.AbortPolicy());
        // 5空閑線程存活時間(預設60s):設置當前線程池中空閑線程的存活時間,即線程池中的線程如果有一段時間沒有任務可執行,則會被回收掉。
        //  -> 當線程池中的線程數大於 corePoolSize 時,多餘的空閑線程將在銷毀之前等待新任務的最長時間。
        //  -> 如果一個線程在空閑時間超過了 keepAliveSeconds,且當前線程池中線程數量大於 corePoolSize,則該線程將會被回收;
        //  -> 核心線程會一直存活,除非線程池被關閉 或 設置下麵的參數
        //  -> 如果 AllowCoreThreadTimeout設置為true,核心線程也會被回收,直到線程池中的線程數降為 0。
        //     但如果線程池中有任務在執行,那麼空閑線程就會一直保持存活狀態,直到任務執行完畢。
        //  -> 該方法的使用可以將線程池的空閑線程回收,以減少資源占用,同時也能保證線程池中始終有可用的線程來執行任務,提高線程池的效率。
        executor.setKeepAliveSeconds(60);
        //6是否禁止線程池自動終止空閑的核心線程。
        // 為 true 時,空閑的核心線程會在 keepAliveTime 時間後被回收,並且在後續任務到來時需要重新創建線程來執行任務。
        // 為 false 時,線程池中的核心線程不會被回收,即使它們處於空閑狀態一段時間。
        //  -> 線上程池創建時,就會預先創建核心線程數的線程,這些線程將一直存在,除非線程池被關閉或重新配置。
        executor.setAllowCoreThreadTimeOut(true);
        // 7當前線程池的等待時間:指等待所有任務執行完畢後線程池的最長時間。300秒 = 5分鐘
        // -> 當所有任務執行完畢後,線程池會等待一段時間(即等待時間),來確保所有任務都已經完成。
        // -> 如果在等待時間內所有任務仍未完成,則線程池會強制停止,以確保任務不會無限制地執行下去。
        executor.setAwaitTerminationSeconds(300);
        // 8當前線程池是否在關閉時等待所有任務執行完成
        // -> 可以確保所有任務都執行完畢後才關閉線程池,避免任務被丟棄,同時也確保線程池可以正常結束,釋放資源。
        // -> 為 true 時,線程池在關閉時會等待所有任務都執行完成後再關閉
        // -> 為 false 時,線程池會直接關閉,未執行完成的任務將被丟棄。
        executor.setWaitForTasksToCompleteOnShutdown(true);
        // 9線程首碼名稱
        executor.setThreadNamePrefix("myIo-Th-Pool-");
        // 初始化
        executor.initialize();
        return executor;
    }
}

3.4、CPU密集型

package com.cc.md.config;

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;

import java.util.concurrent.ThreadPoolExecutor;

/** CPU型的線程池
 * @author CC
 * @since 2023/5/23 0023
 */
@Configuration
public class CpuThreadPool {

    /** 線程數量
     * CUP數量:N = Runtime.getRuntime().availableProcessors()
     * IO密級:2 * N
     * CPU密級:1 + N
     */
    public static final int THREAD_SIZE = 1 + (Runtime.getRuntime().availableProcessors());
    /**
     * 隊列大小
     */
    public static final int QUEUE_SIZE = 1000;

    @Bean(name = "myCpuThreadPool")
    public ThreadPoolTaskExecutor threadPoolExecutor(){
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setCorePoolSize(THREAD_SIZE);
        executor.setMaxPoolSize(THREAD_SIZE);
        executor.setQueueCapacity(QUEUE_SIZE);
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.AbortPolicy());
        executor.setKeepAliveSeconds(60);
        executor.setAllowCoreThreadTimeOut(true);
        executor.setAwaitTerminationSeconds(300);
        executor.setWaitForTasksToCompleteOnShutdown(true);
        executor.setThreadNamePrefix("myCpu-T-Pool-");
        executor.initialize();
        return executor;
    }
}

4、線程池的原始使用

  • 不要這樣使用
  • 使用CompletableFuture:見《Java的CompletableFuture,Java的多線程開發》
    @Resource(name = "myIoThreadPool")
    private ThreadPoolTaskExecutor myIoThreadPool;
    
    //線程池原始的使用
    @Test
    void test2() {
        try {
            for (int i = 0; i < 1000; i++) {
                int finalI = i;
                myIoThreadPool.submit(() -> {
                    //第一批創建的線程數
                    log.info("列印:{}", finalI);
                    //模仿io流耗時
                    try {
                        Thread.sleep(5000);
                    } catch (InterruptedException e) {
                        throw new RuntimeException(e);
                    }
                });
            }
        }catch(Exception e){
            throw new RuntimeException(e);
        }finally {
            myIoThreadPool.shutdown();
        }
    }

  • 參考

https://zhuanlan.zhihu.com/p/112527671

https://blog.csdn.net/shang_0122/article/details/120777113

https://blog.csdn.net/zhuimeng_by/article/details/107891268

https://blog.csdn.net/qq_25720801/article/details/129559164


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 最近在壓測一批介面,發現介面處理速度慢的有點超出預期,感覺很奇怪,後面定位發現是資料庫批量保存這塊很慢。 這個項目用的是 mybatis-plus,批量保存直接用的是 mybatis-plus 提供的 saveBatch。 我點進去看了下源碼,感覺有點不太對勁: 繼續追蹤了下,從這個代碼來看,確實是 ...
  • # 圖紙管理系統 ## 一、初步構建後端項目 ### 1、打開已經創建好的虛擬環境:激活activate(推薦使用虛擬環境)並創建項目 ![](https://img2023.cnblogs.com/blog/2240937/202305/2240937-20230524164953360-1300 ...
  • ### StringIO和BytesIO 很多時候,數據讀寫不一定是文件,也可以在記憶體中讀寫。StringIO就是在記憶體中讀寫str。 要把str寫入StringIO,我們需要先創建一個StringIO,然後,像文件一樣寫入即可: ```python >>> from io import Strin ...
  • # 二、Java開啟非同步的兩種方式 ## 1、註解開啟:[email protected]== ### 1.1、配置非同步的線程池 - 必須配置非同步線程池,否則非同步不會生效。 - @EnableAsync 註解:指定非同步線程池。不指定預設使用:SimpleAsyncTaskExecutor線程池 - SimpleAsy ...
  • 摘要:這篇文章將詳細講解圖像形態學知識,主要介紹圖像腐蝕處理和膨脹處理。 本文分享自華為雲社區《[Python從零到壹] 四十七.圖像增強及運算篇之腐蝕和膨脹詳解》,作者: eastmount 。 一.形態學理論知識 數學形態學的應用可以簡化圖像數據,保持它們基本的形狀特征,並出去不相干的結構。數學 ...
  • 親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安 ...
  • 我們在學習 Java 基礎時就知道可以生成隨機數,可以為我們枯燥的學習增加那麼一丟丟的樂趣。本文就來介紹 Java 隨機數。 ...
  • ## 教程簡介 Ruby,一種簡單快捷的面向對象(面向對象程式設計)腳本語言,在20世紀90年代由日本人松本行弘(Yukihiro Matsumoto)開發,遵守GPL協議和Ruby License。它的靈感與特性來自於 Perl、Smalltalk、Eiffel、Ada以及 Lisp 語言。由 R ...
一周排行
    -Advertisement-
    Play Games
  • 人臉識別技術在現代社會中扮演著越來越重要的角色,比如人臉識別門禁、人臉識別支付、甚至人臉識別網站登錄等。 最近有群友問.NET有沒有人臉識別的組件,小編查閱相關資料介紹下麵幾種.NET人臉識別組件供大家參考。 **1、Microsoft Azure Face API** 簡介:Microsoft A ...
  • # 1. 與 .NET Core 緩存的關係和差異 ABP 框架中的緩存系統核心包是 [Volo.Abp.Caching](https://www.nuget.org/packages/Volo.Abp.Caching) ,而對於分散式緩存的支持,abp 官方提供了基於 Redis 的方案,需要安裝 ...
  • 最近ET做熱更重載dll的時候,返回登陸會重新檢測新的dll,首次登錄之前已經Assembly.Load()過一次dll,第二次返回登陸再次load dll到記憶體中,Invoke執行方法的時候,異常了,有些方法執行了,有些未執行,於是查資料,看到些老資料說Assembly.Load重覆載入同名dll ...
  • 1. 擴展方法 擴展方法使你能夠向現有類型“添加”方法,而無需創建新的派生類型、重新編譯或以其他方式修改原始類型。 擴展方法是一種靜態方法,但可以像擴展類型上的實例方法一樣進行調用。 對於用 C#、F# 和 Visual Basic 編寫的客戶端代碼,調用擴展方法與調用在類型中定義的方法沒有明顯區別 ...
  • 以前在隨筆《Winform開發框架之客戶關係管理系統(CRM)的開發總結系列1-界面功能展示 》的幾篇隨筆中介紹過基於WInform開發框架開發的CRM系統,系統的功能主要也是圍繞著客戶相關信息來進行管理的。本篇隨筆介紹在最新的《SqlSugar開發框架》中整合CRM系統模塊的功能。 ...
  • 隨著技術的發展,ASP.NET Core MVC也推出了好長時間,經過不斷的版本更新迭代,已經越來越完善,本系列文章主要講解ASP.NET Core MVC開發B/S系統過程中所涉及到的相關內容,適用於初學者,在校畢業生,或其他想從事ASP.NET Core MVC 系統開發的人員。 經過前幾篇文章... ...
  • [toc] 這篇文章是我之前總結的一篇文章,因為整理博客的原因,原有博客已經註銷,但這篇文章對一些讀者很有用,所以現在新瓶裝舊酒重新整理回來分享給大家。 最近一段時間生產環境頻繁出問題,每次都會生成一個hs_err_pid*.log文件,因為工作內容的原因,在此之前並沒有瞭解過相關內容,趁此機會學習 ...
  • # 前言 在上一篇文章中,給大家講解了泛型的概念、作用、使用場景,以及泛型集合、泛型介面和泛型類的用法,但受限於篇幅,並沒有把泛型的內容講解完畢。所以今天我們會繼續學習泛型方法、泛型擦除,以及通配符等的內容,希望大家繼續做好學習的準備哦。 *** 全文大約【**4600】** 字,不說廢話,只講可以 ...
  • 昨天遇到參數key大小寫不一致導致校驗簽名失敗的問題,查了很長時間才找到原因。看了一下FastJson源碼,發現JSON.toObject中轉換成對象的時候會忽略大小寫。 所以,當使用了JSON.toObject將json轉成Java對象後,再用JSON.toObject轉成json,key值就變了 ...
  • 基於java的線上商城設計與實現,線上購物平臺,校園購物商城,商品銷售平臺,基於Java的電商平臺;電商平臺,買家和賣家可以在此平臺上進行銷售和交易,節約了大量的線下時間成本,購物車的功能,校園交易平臺等等; ...