Java配置線程池

来源:https://www.cnblogs.com/kakarotto-chen/archive/2023/05/24/17428432.html
-Advertisement-
Play Games

# 一、Java配置線程池 ## 1、線程池==分類==、其他 ### 1.1、分類 ==IO密集型 和 CPU密集型== 任務的特點不同,因此針對不同類型的任務,選擇不同類型的線程池可以獲得更好的性能表現。 #### 1.1. IO密集型任務 ​ IO密集型任務的特點是需要頻繁讀寫磁碟、網路或者其 ...


一、Java配置線程池

1、線程池分類、其他

1.1、分類

IO密集型 和 CPU密集型 任務的特點不同,因此針對不同類型的任務,選擇不同類型的線程池可以獲得更好的性能表現。

1.1. IO密集型任務

​ IO密集型任務的特點是需要頻繁讀寫磁碟、網路或者其他IO資源,執行時間長,CPU占用率較低。

對於這類任務,線程的執行時間主要取決於IO操作的速度,而非CPU的執行能力。

​ 因此,線程池的線程數應該設置較大,以便充分利用IO資源。

通常建議使用CachedThreadPool線程池或者FixedThreadPool線程池來處理IO密集型任務。

1.2. CPU密集型任務

​ CPU密集型任務的特點是需要進行大量的計算,執行時間長,CPU占用率較高。

對於這類任務,線程的執行時間主要取決於CPU的執行能力。

​ 因此,線程池的線程數應該設置較小,以充分利用CPU的計算能力,避免過多的線程切換和上下文切換導致的性能損失。

通常建議使用FixedThreadPool線程池或者SingleThreadPool線程池來處理CPU密集型任務。


總之,選擇恰當的線程池類型可以充分發揮不同類型任務的性能,提高程式效率和響應速度。

1.2. 非同步線程池的選擇

對於非同步線程池,通常建議使用IO密集型線程池。
非同步任務通常是網路IO或磁碟IO等操作,這些操作的執行時間相對於CPU計算的執行時間要長得多。
使用IO密集型線程池可以更好地利用IO資源,提高多個非同步任務的執行效率和吞吐量,
同時避免由於過多的線程切換和上下文切換導致的性能損失。

1.3. 線程池工作步奏

很多任務——》線程池創建核心線程——》任務超過最大線程——》把任務放入隊列中等待執行——》隊列中放滿了——》進入處理策略

2、線程池參數、合理參數

2.1、參數

①、核心線程數

當線程池中的線程數量為 corePoolSize核心線程數 時,即使這些線程處於空閑狀態,也不會銷毀(除非設置 allowCoreThreadTimeOut=true)。
//  -> 核心線程,也就是正在處理中的任務
//  -> 雖然 CPU 核心數可以作為線程池中線程數量的參考指標,但最終線程數量還需要根據具體情況進行設置和調整。
//  -> 如果同時運行的線程數量超過 CPU 核心數,就會發生--線程上下文切換--,導致額外的開銷和性能下降。所以線程不能創建得過多

②、最大線程數

線程池中允許的線程數量的最大值。
        //  -> 當線程數 = maxPoolSize最大線程數時,還有新任務,就會放進隊列中等待執行 ↓↓↓

③、隊列長度

當核心線程數達到最大時,新任務會放在隊列中排隊等待執行
        //  -> 根據業務配置,如果隊列長度過大,可能會導致系統記憶體資源占用過高,最終導致 OOM,需要註意控制
        //  -> 如果需要執行的任務裝滿了隊列,就會走拒絕策略 ↓↓↓

④、拒絕策略

(官方提供4種,也可以自定義):因達到線程邊界和任務隊列滿時,針對新任務的處理方法。
        // -> AbortPolicy:直接丟棄任務並拋出 RejectedExecutionException 異常。(預設策略)
        // -> DiscardPolicy:直接丟棄掉,不會拋出異常
        // -> DiscardOldestPolicy:丟棄隊列最前面的任務,然後重新嘗試執行任務(重覆此過程)
        // -> CallerRunsPolicy:交給主線程(調用線程)去執行

⑤、空閑線程存活時間

(預設60s):設置當前線程池中空閑線程的存活時間,即線程池中的線程如果有一段時間沒有任務可執行,則會被回收掉。
        //  -> 當線程池中的線程數大於 corePoolSize 時,多餘的空閑線程將在銷毀之前等待新任務的最長時間。
        //  -> 如果一個線程在空閑時間超過了 keepAliveSeconds,且當前線程池中線程數量大於 corePoolSize,則該線程將會被回收;
        //  -> 核心線程會一直存活,除非線程池被關閉 或 設置下麵的參數
        //  -> 如果 AllowCoreThreadTimeout設置為true,核心線程也會被回收,直到線程池中的線程數降為 0。
        //     但如果線程池中有任務在執行,那麼空閑線程就會一直保持存活狀態,直到任務執行完畢。
        //  -> 該方法的使用可以將線程池的空閑線程回收,以減少資源占用,同時也能保證線程池中始終有可用的線程來執行任務,提高線程池的效率。

⑥、是否禁止線程池自動終止空閑的核心線程

為 true 時,空閑的核心線程會在 keepAliveTime 時間後被回收,並且在後續任務到來時需要重新創建線程來執行任務。
        // 為 false 時,線程池中的核心線程不會被回收,即使它們處於空閑狀態一段時間。
        //  -> 線上程池創建時,就會預先創建核心線程數的線程,這些線程將一直存在,除非線程池被關閉或重新配置。

⑦、當前線程池的等待時間

指等待所有任務執行完畢後線程池的最長時間。300秒 = 5分鐘
        // -> 當所有任務執行完畢後,線程池會等待一段時間(即等待時間),來確保所有任務都已經完成。
        // -> 如果在等待時間內所有任務仍未完成,則線程池會強制停止,以確保任務不會無限制地執行下去。

⑧、當前線程池是否在關閉時等待所有任務執行完成

		// -> 可以確保所有任務都執行完畢後才關閉線程池,避免任務被丟棄,同時也確保線程池可以正常結束,釋放資源。
        // -> 為 true 時,線程池在關閉時會等待所有任務都執行完成後再關閉
        // -> 為 false 時,線程池會直接關閉,未執行完成的任務將被丟棄。

⑨、線程名稱首碼

		// 9線程首碼名稱
        executor.setThreadNamePrefix("myIo-Th-Pool-");
        // 初始化
        executor.initialize();

2.2、合理配置

①線程數量:N = 電腦cpu數量

  • 如果同時運行的線程數量超過 CPU 核心數,就會發生--線程上下文切換--,導致額外的開銷和性能下降。所以線程不能創建得過多
  • 一般的配置如下:也可以通過計算獲取。
     * IO密級 :2 * N
     * CPU密級:1 + N

②隊列長度:

  • 如果隊列長度過大,可能會導致系統記憶體資源占用過高,最終導致 OOM,需要註意控制
  • 根據自身業務配置

3、配置

3.1、配置線程池的Bean的選擇

配置線程池選擇:ThreadPoolTaskExecutor(Spring項目推薦),還是選擇ThreadPoolExecutor?

ThreadPoolTaskExecutor 是 Spring 框架中對 Java 自帶的線程池 ThreadPoolExecutor 進行了封裝和擴展,並增加了一些優化和功能。通常來說,如果你使用 Spring 框架,需要使用線程池,那麼建議使用 ThreadPoolTaskExecutor。 ThreadPoolTaskExecutor 提供了更多的配置選項,例如線程池的最大線程數、核心線程數、緩衝隊列大小、線程命名首碼、線程池飽和策略等等,同時可以方便地集成到 Spring 應用中。另外,ThreadPoolTaskExecutor 還能夠支持非同步執行任務,使用方便。 相比之下,ThreadPoolExecutor 是 Java 自帶的線程池實現類,提供了基本的線程池功能,但沒有 ThreadPoolTaskExecutor 提供的更多配置選項和功能。如果你不使用 Spring 框架,或者使用 Spring 框架但不需要使用其提供的線程池實現,那麼可以考慮使用 ThreadPoolExecutor。

綜上所述,選擇使用 ThreadPoolTaskExecutor 還是 ThreadPoolExecutor 取決於具體的業務需求和技術棧,可以根據實際情況進行選擇。

3.2、獲取當前電腦(伺服器)的核心線程數

int N = Runtime.getRuntime().availableProcessors()

3.3、IO密集型

package com.cc.md.config;

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.annotation.EnableAsync;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;

import java.util.concurrent.ThreadPoolExecutor;

/** IO型的線程池
 * <li>IO密集型配置線程數經驗值是:2N (CPU核數*2)</li>
 * <li>非同步線程池:建議用io密集型:</li>
 *      對於非同步線程池,通常建議使用IO密集型線程池。
 *      非同步任務通常是網路IO或磁碟IO等操作,這些操作的執行時間相對於CPU計算的執行時間要長得多。
 *      使用IO密集型線程池可以更好地利用IO資源,提高多個非同步任務的執行效率和吞吐量,
 *      同時避免由於過多的線程切換和上下文切換導致的性能損失。
 * @author CC
 * @since 2023/5/23 0023
 */
@Configuration
@EnableAsync
public class IoThreadPool {

    /** 線程數量
     * CUP數量:N = Runtime.getRuntime().availableProcessors()
     * IO密級:2 * N
     * CPU密級:1 + N
     */
    public static final int THREAD_SIZE = 2 * (Runtime.getRuntime().availableProcessors());
    /**
     * 隊列大小
     */
    public static final int QUEUE_SIZE = 1000;

    @Bean(name = "myIoThreadPool")
    public ThreadPoolTaskExecutor threadPoolExecutor(){
        //配置線程池選擇:ThreadPoolTaskExecutor,還是選擇ThreadPoolExecutor好些?
        // -> ThreadPoolTaskExecutor 是 Spring 框架中對 Java 自帶的線程池 ThreadPoolExecutor 進行了封裝和擴展,
        //    並增加了一些優化和功能。通常來說,如果你使用 Spring 框架,需要使用線程池,那麼建議使用 ThreadPoolTaskExecutor。
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        // 1核心線程數:當線程池中的線程數量為 corePoolSize 時,即使這些線程處於空閑狀態,也不會銷毀(除非設置 allowCoreThreadTimeOut=true)。
        //  -> 核心線程,也就是正在處理中的任務
        //  -> 雖然 CPU 核心數可以作為線程池中線程數量的參考指標,但最終線程數量還需要根據具體情況進行設置和調整。
        //  -> 如果同時運行的線程數量超過 CPU 核心數,就會發生--線程上下文切換--,導致額外的開銷和性能下降。所以線程不能創建得過多
        executor.setCorePoolSize(THREAD_SIZE);
        // 2最大線程數:線程池中允許的線程數量的最大值。
        //  -> 當線程數 = maxPoolSize最大線程數時,還有新任務,就會放進隊列中等待執行 ↓↓↓
        executor.setMaxPoolSize(THREAD_SIZE);
        // 3隊列長度:當核心線程數達到最大時,新任務會放在隊列中排隊等待執行
        //  -> 根據業務配置,如果隊列長度過大,可能會導致系統記憶體資源占用過高,最終導致 OOM,需要註意控制
        //  -> 如果需要執行的任務裝滿了隊列,就會走拒絕策略 ↓↓↓
        executor.setQueueCapacity(QUEUE_SIZE);
        // 4拒絕策略(官方提供4種,也可以自定義):因達到線程邊界和任務隊列滿時,針對新任務的處理方法。
        // -> AbortPolicy:直接丟棄任務並拋出 RejectedExecutionException 異常。(預設策略)
        // -> DiscardPolicy:直接丟棄掉,不會拋出異常
        // -> DiscardOldestPolicy:丟棄隊列最前面的任務,然後重新嘗試執行任務(重覆此過程)
        // -> CallerRunsPolicy:交給主線程(調用線程)去執行
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.AbortPolicy());
        // 5空閑線程存活時間(預設60s):設置當前線程池中空閑線程的存活時間,即線程池中的線程如果有一段時間沒有任務可執行,則會被回收掉。
        //  -> 當線程池中的線程數大於 corePoolSize 時,多餘的空閑線程將在銷毀之前等待新任務的最長時間。
        //  -> 如果一個線程在空閑時間超過了 keepAliveSeconds,且當前線程池中線程數量大於 corePoolSize,則該線程將會被回收;
        //  -> 核心線程會一直存活,除非線程池被關閉 或 設置下麵的參數
        //  -> 如果 AllowCoreThreadTimeout設置為true,核心線程也會被回收,直到線程池中的線程數降為 0。
        //     但如果線程池中有任務在執行,那麼空閑線程就會一直保持存活狀態,直到任務執行完畢。
        //  -> 該方法的使用可以將線程池的空閑線程回收,以減少資源占用,同時也能保證線程池中始終有可用的線程來執行任務,提高線程池的效率。
        executor.setKeepAliveSeconds(60);
        //6是否禁止線程池自動終止空閑的核心線程。
        // 為 true 時,空閑的核心線程會在 keepAliveTime 時間後被回收,並且在後續任務到來時需要重新創建線程來執行任務。
        // 為 false 時,線程池中的核心線程不會被回收,即使它們處於空閑狀態一段時間。
        //  -> 線上程池創建時,就會預先創建核心線程數的線程,這些線程將一直存在,除非線程池被關閉或重新配置。
        executor.setAllowCoreThreadTimeOut(true);
        // 7當前線程池的等待時間:指等待所有任務執行完畢後線程池的最長時間。300秒 = 5分鐘
        // -> 當所有任務執行完畢後,線程池會等待一段時間(即等待時間),來確保所有任務都已經完成。
        // -> 如果在等待時間內所有任務仍未完成,則線程池會強制停止,以確保任務不會無限制地執行下去。
        executor.setAwaitTerminationSeconds(300);
        // 8當前線程池是否在關閉時等待所有任務執行完成
        // -> 可以確保所有任務都執行完畢後才關閉線程池,避免任務被丟棄,同時也確保線程池可以正常結束,釋放資源。
        // -> 為 true 時,線程池在關閉時會等待所有任務都執行完成後再關閉
        // -> 為 false 時,線程池會直接關閉,未執行完成的任務將被丟棄。
        executor.setWaitForTasksToCompleteOnShutdown(true);
        // 9線程首碼名稱
        executor.setThreadNamePrefix("myIo-Th-Pool-");
        // 初始化
        executor.initialize();
        return executor;
    }
}

3.4、CPU密集型

package com.cc.md.config;

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;

import java.util.concurrent.ThreadPoolExecutor;

/** CPU型的線程池
 * @author CC
 * @since 2023/5/23 0023
 */
@Configuration
public class CpuThreadPool {

    /** 線程數量
     * CUP數量:N = Runtime.getRuntime().availableProcessors()
     * IO密級:2 * N
     * CPU密級:1 + N
     */
    public static final int THREAD_SIZE = 1 + (Runtime.getRuntime().availableProcessors());
    /**
     * 隊列大小
     */
    public static final int QUEUE_SIZE = 1000;

    @Bean(name = "myCpuThreadPool")
    public ThreadPoolTaskExecutor threadPoolExecutor(){
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setCorePoolSize(THREAD_SIZE);
        executor.setMaxPoolSize(THREAD_SIZE);
        executor.setQueueCapacity(QUEUE_SIZE);
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.AbortPolicy());
        executor.setKeepAliveSeconds(60);
        executor.setAllowCoreThreadTimeOut(true);
        executor.setAwaitTerminationSeconds(300);
        executor.setWaitForTasksToCompleteOnShutdown(true);
        executor.setThreadNamePrefix("myCpu-T-Pool-");
        executor.initialize();
        return executor;
    }
}

4、線程池的原始使用

  • 不要這樣使用
  • 使用CompletableFuture:見《Java的CompletableFuture,Java的多線程開發》
    @Resource(name = "myIoThreadPool")
    private ThreadPoolTaskExecutor myIoThreadPool;
    
    //線程池原始的使用
    @Test
    void test2() {
        try {
            for (int i = 0; i < 1000; i++) {
                int finalI = i;
                myIoThreadPool.submit(() -> {
                    //第一批創建的線程數
                    log.info("列印:{}", finalI);
                    //模仿io流耗時
                    try {
                        Thread.sleep(5000);
                    } catch (InterruptedException e) {
                        throw new RuntimeException(e);
                    }
                });
            }
        }catch(Exception e){
            throw new RuntimeException(e);
        }finally {
            myIoThreadPool.shutdown();
        }
    }

  • 參考

https://zhuanlan.zhihu.com/p/112527671

https://blog.csdn.net/shang_0122/article/details/120777113

https://blog.csdn.net/zhuimeng_by/article/details/107891268

https://blog.csdn.net/qq_25720801/article/details/129559164


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 最近在壓測一批介面,發現介面處理速度慢的有點超出預期,感覺很奇怪,後面定位發現是資料庫批量保存這塊很慢。 這個項目用的是 mybatis-plus,批量保存直接用的是 mybatis-plus 提供的 saveBatch。 我點進去看了下源碼,感覺有點不太對勁: 繼續追蹤了下,從這個代碼來看,確實是 ...
  • # 圖紙管理系統 ## 一、初步構建後端項目 ### 1、打開已經創建好的虛擬環境:激活activate(推薦使用虛擬環境)並創建項目 ![](https://img2023.cnblogs.com/blog/2240937/202305/2240937-20230524164953360-1300 ...
  • ### StringIO和BytesIO 很多時候,數據讀寫不一定是文件,也可以在記憶體中讀寫。StringIO就是在記憶體中讀寫str。 要把str寫入StringIO,我們需要先創建一個StringIO,然後,像文件一樣寫入即可: ```python >>> from io import Strin ...
  • # 二、Java開啟非同步的兩種方式 ## 1、註解開啟:==@Async== ### 1.1、配置非同步的線程池 - 必須配置非同步線程池,否則非同步不會生效。 - @EnableAsync 註解:指定非同步線程池。不指定預設使用:SimpleAsyncTaskExecutor線程池 - SimpleAsy ...
  • 摘要:這篇文章將詳細講解圖像形態學知識,主要介紹圖像腐蝕處理和膨脹處理。 本文分享自華為雲社區《[Python從零到壹] 四十七.圖像增強及運算篇之腐蝕和膨脹詳解》,作者: eastmount 。 一.形態學理論知識 數學形態學的應用可以簡化圖像數據,保持它們基本的形狀特征,並出去不相干的結構。數學 ...
  • 親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安 ...
  • 我們在學習 Java 基礎時就知道可以生成隨機數,可以為我們枯燥的學習增加那麼一丟丟的樂趣。本文就來介紹 Java 隨機數。 ...
  • ## 教程簡介 Ruby,一種簡單快捷的面向對象(面向對象程式設計)腳本語言,在20世紀90年代由日本人松本行弘(Yukihiro Matsumoto)開發,遵守GPL協議和Ruby License。它的靈感與特性來自於 Perl、Smalltalk、Eiffel、Ada以及 Lisp 語言。由 R ...
一周排行
    -Advertisement-
    Play Games
  • 下麵是一個標準的IDistributedCache用例: public class SomeService(IDistributedCache cache) { public async Task<SomeInformation> GetSomeInformationAsync (string na ...
  • 這個庫提供了在啟動期間實例化已註冊的單例,而不是在首次使用它時實例化。 單例通常在首次使用時創建,這可能會導致響應傳入請求的延遲高於平時。在註冊時創建實例有助於防止第一次Request請求的SLA 以往我們要在註冊的時候實例單例可能會這樣寫: //註冊: services.AddSingleton< ...
  • 最近公司的很多項目都要改單點登錄了,不過大部分都還沒敲定,目前立刻要做的就只有一個比較老的項目 先改一個試試手,主要目標就是最短最快實現功能 首先因為要保留原登錄方式,所以頁面上的改動就是在原來登錄頁面下加一個SSO登錄入口 用超鏈接寫的入口,頁面改造後如下圖: 其中超鏈接的 href="Staff ...
  • Like運算符很好用,特別是它所提供的其中*、?這兩種通配符,在Windows文件系統和各類項目中運用非常廣泛。 但Like運算符僅在VB中支持,在C#中,如何實現呢? 以下是關於LikeString的四種實現方式,其中第四種為Regex正則表達式實現,且在.NET Standard 2.0及以上平... ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他們的程式記憶體會偶發性暴漲,自己分析了下是非托管記憶體問題,讓我幫忙看下怎麼回事?哈哈,看到這個dump我還是非常有興趣的,居然還有這種游戲幣自助機類型的程式,下次去大玩家看看他們出幣的機器後端是不是C#寫的?由於dump是linux上的程式,剛好win ...
  • 前言 大家好,我是老馬。很高興遇到你。 我們為 java 開發者實現了 java 版本的 nginx https://github.com/houbb/nginx4j 如果你想知道 servlet 如何處理的,可以參考我的另一個項目: 手寫從零實現簡易版 tomcat minicat 手寫 ngin ...
  • 上一次的介紹,主要圍繞如何統一去捕獲異常,以及為每一種異常添加自己的Mapper實現,並且我們知道,當在ExceptionMapper中返回非200的Response,不支持application/json的響應類型,而是寫死的text/plain類型。 Filter為二方包異常手動捕獲 參考:ht ...
  • 大家好,我是R哥。 今天分享一個爽飛了的面試輔導 case: 這個杭州兄弟空窗期 1 個月+,面試了 6 家公司 0 Offer,不知道問題出在哪,難道是杭州的 IT 崩盤了麽? 報名面試輔導後,經過一個多月的輔導打磨,現在成功入職某上市公司,漲薪 30%+,955 工作制,不咋加班,還不捲。 其他 ...
  • 引入依賴 <!--Freemarker wls--> <dependency> <groupId>org.freemarker</groupId> <artifactId>freemarker</artifactId> <version>2.3.30</version> </dependency> ...
  • 你應如何運行程式 互動式命令模式 開始一個互動式會話 一般是在操作系統命令行下輸入python,且不帶任何參數 系統路徑 如果沒有設置系統的PATH環境變數來包括Python的安裝路徑,可能需要機器上Python可執行文件的完整路徑來代替python 運行的位置:代碼位置 不要輸入的內容:提示符和註 ...