Java配置線程池

来源:https://www.cnblogs.com/kakarotto-chen/archive/2023/05/24/17428432.html
-Advertisement-
Play Games

# 一、Java配置線程池 ## 1、線程池==分類==、其他 ### 1.1、分類 ==IO密集型 和 CPU密集型== 任務的特點不同,因此針對不同類型的任務,選擇不同類型的線程池可以獲得更好的性能表現。 #### 1.1. IO密集型任務 ​ IO密集型任務的特點是需要頻繁讀寫磁碟、網路或者其 ...


一、Java配置線程池

1、線程池分類、其他

1.1、分類

IO密集型 和 CPU密集型 任務的特點不同,因此針對不同類型的任務,選擇不同類型的線程池可以獲得更好的性能表現。

1.1. IO密集型任務

​ IO密集型任務的特點是需要頻繁讀寫磁碟、網路或者其他IO資源,執行時間長,CPU占用率較低。

對於這類任務,線程的執行時間主要取決於IO操作的速度,而非CPU的執行能力。

​ 因此,線程池的線程數應該設置較大,以便充分利用IO資源。

通常建議使用CachedThreadPool線程池或者FixedThreadPool線程池來處理IO密集型任務。

1.2. CPU密集型任務

​ CPU密集型任務的特點是需要進行大量的計算,執行時間長,CPU占用率較高。

對於這類任務,線程的執行時間主要取決於CPU的執行能力。

​ 因此,線程池的線程數應該設置較小,以充分利用CPU的計算能力,避免過多的線程切換和上下文切換導致的性能損失。

通常建議使用FixedThreadPool線程池或者SingleThreadPool線程池來處理CPU密集型任務。


總之,選擇恰當的線程池類型可以充分發揮不同類型任務的性能,提高程式效率和響應速度。

1.2. 非同步線程池的選擇

對於非同步線程池,通常建議使用IO密集型線程池。
非同步任務通常是網路IO或磁碟IO等操作,這些操作的執行時間相對於CPU計算的執行時間要長得多。
使用IO密集型線程池可以更好地利用IO資源,提高多個非同步任務的執行效率和吞吐量,
同時避免由於過多的線程切換和上下文切換導致的性能損失。

1.3. 線程池工作步奏

很多任務——》線程池創建核心線程——》任務超過最大線程——》把任務放入隊列中等待執行——》隊列中放滿了——》進入處理策略

2、線程池參數、合理參數

2.1、參數

①、核心線程數

當線程池中的線程數量為 corePoolSize核心線程數 時,即使這些線程處於空閑狀態,也不會銷毀(除非設置 allowCoreThreadTimeOut=true)。
//  -> 核心線程,也就是正在處理中的任務
//  -> 雖然 CPU 核心數可以作為線程池中線程數量的參考指標,但最終線程數量還需要根據具體情況進行設置和調整。
//  -> 如果同時運行的線程數量超過 CPU 核心數,就會發生--線程上下文切換--,導致額外的開銷和性能下降。所以線程不能創建得過多

②、最大線程數

線程池中允許的線程數量的最大值。
        //  -> 當線程數 = maxPoolSize最大線程數時,還有新任務,就會放進隊列中等待執行 ↓↓↓

③、隊列長度

當核心線程數達到最大時,新任務會放在隊列中排隊等待執行
        //  -> 根據業務配置,如果隊列長度過大,可能會導致系統記憶體資源占用過高,最終導致 OOM,需要註意控制
        //  -> 如果需要執行的任務裝滿了隊列,就會走拒絕策略 ↓↓↓

④、拒絕策略

(官方提供4種,也可以自定義):因達到線程邊界和任務隊列滿時,針對新任務的處理方法。
        // -> AbortPolicy:直接丟棄任務並拋出 RejectedExecutionException 異常。(預設策略)
        // -> DiscardPolicy:直接丟棄掉,不會拋出異常
        // -> DiscardOldestPolicy:丟棄隊列最前面的任務,然後重新嘗試執行任務(重覆此過程)
        // -> CallerRunsPolicy:交給主線程(調用線程)去執行

⑤、空閑線程存活時間

(預設60s):設置當前線程池中空閑線程的存活時間,即線程池中的線程如果有一段時間沒有任務可執行,則會被回收掉。
        //  -> 當線程池中的線程數大於 corePoolSize 時,多餘的空閑線程將在銷毀之前等待新任務的最長時間。
        //  -> 如果一個線程在空閑時間超過了 keepAliveSeconds,且當前線程池中線程數量大於 corePoolSize,則該線程將會被回收;
        //  -> 核心線程會一直存活,除非線程池被關閉 或 設置下麵的參數
        //  -> 如果 AllowCoreThreadTimeout設置為true,核心線程也會被回收,直到線程池中的線程數降為 0。
        //     但如果線程池中有任務在執行,那麼空閑線程就會一直保持存活狀態,直到任務執行完畢。
        //  -> 該方法的使用可以將線程池的空閑線程回收,以減少資源占用,同時也能保證線程池中始終有可用的線程來執行任務,提高線程池的效率。

⑥、是否禁止線程池自動終止空閑的核心線程

為 true 時,空閑的核心線程會在 keepAliveTime 時間後被回收,並且在後續任務到來時需要重新創建線程來執行任務。
        // 為 false 時,線程池中的核心線程不會被回收,即使它們處於空閑狀態一段時間。
        //  -> 線上程池創建時,就會預先創建核心線程數的線程,這些線程將一直存在,除非線程池被關閉或重新配置。

⑦、當前線程池的等待時間

指等待所有任務執行完畢後線程池的最長時間。300秒 = 5分鐘
        // -> 當所有任務執行完畢後,線程池會等待一段時間(即等待時間),來確保所有任務都已經完成。
        // -> 如果在等待時間內所有任務仍未完成,則線程池會強制停止,以確保任務不會無限制地執行下去。

⑧、當前線程池是否在關閉時等待所有任務執行完成

		// -> 可以確保所有任務都執行完畢後才關閉線程池,避免任務被丟棄,同時也確保線程池可以正常結束,釋放資源。
        // -> 為 true 時,線程池在關閉時會等待所有任務都執行完成後再關閉
        // -> 為 false 時,線程池會直接關閉,未執行完成的任務將被丟棄。

⑨、線程名稱首碼

		// 9線程首碼名稱
        executor.setThreadNamePrefix("myIo-Th-Pool-");
        // 初始化
        executor.initialize();

2.2、合理配置

①線程數量:N = 電腦cpu數量

  • 如果同時運行的線程數量超過 CPU 核心數,就會發生--線程上下文切換--,導致額外的開銷和性能下降。所以線程不能創建得過多
  • 一般的配置如下:也可以通過計算獲取。
     * IO密級 :2 * N
     * CPU密級:1 + N

②隊列長度:

  • 如果隊列長度過大,可能會導致系統記憶體資源占用過高,最終導致 OOM,需要註意控制
  • 根據自身業務配置

3、配置

3.1、配置線程池的Bean的選擇

配置線程池選擇:ThreadPoolTaskExecutor(Spring項目推薦),還是選擇ThreadPoolExecutor?

ThreadPoolTaskExecutor 是 Spring 框架中對 Java 自帶的線程池 ThreadPoolExecutor 進行了封裝和擴展,並增加了一些優化和功能。通常來說,如果你使用 Spring 框架,需要使用線程池,那麼建議使用 ThreadPoolTaskExecutor。 ThreadPoolTaskExecutor 提供了更多的配置選項,例如線程池的最大線程數、核心線程數、緩衝隊列大小、線程命名首碼、線程池飽和策略等等,同時可以方便地集成到 Spring 應用中。另外,ThreadPoolTaskExecutor 還能夠支持非同步執行任務,使用方便。 相比之下,ThreadPoolExecutor 是 Java 自帶的線程池實現類,提供了基本的線程池功能,但沒有 ThreadPoolTaskExecutor 提供的更多配置選項和功能。如果你不使用 Spring 框架,或者使用 Spring 框架但不需要使用其提供的線程池實現,那麼可以考慮使用 ThreadPoolExecutor。

綜上所述,選擇使用 ThreadPoolTaskExecutor 還是 ThreadPoolExecutor 取決於具體的業務需求和技術棧,可以根據實際情況進行選擇。

3.2、獲取當前電腦(伺服器)的核心線程數

int N = Runtime.getRuntime().availableProcessors()

3.3、IO密集型

package com.cc.md.config;

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.annotation.EnableAsync;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;

import java.util.concurrent.ThreadPoolExecutor;

/** IO型的線程池
 * <li>IO密集型配置線程數經驗值是:2N (CPU核數*2)</li>
 * <li>非同步線程池:建議用io密集型:</li>
 *      對於非同步線程池,通常建議使用IO密集型線程池。
 *      非同步任務通常是網路IO或磁碟IO等操作,這些操作的執行時間相對於CPU計算的執行時間要長得多。
 *      使用IO密集型線程池可以更好地利用IO資源,提高多個非同步任務的執行效率和吞吐量,
 *      同時避免由於過多的線程切換和上下文切換導致的性能損失。
 * @author CC
 * @since 2023/5/23 0023
 */
@Configuration
@EnableAsync
public class IoThreadPool {

    /** 線程數量
     * CUP數量:N = Runtime.getRuntime().availableProcessors()
     * IO密級:2 * N
     * CPU密級:1 + N
     */
    public static final int THREAD_SIZE = 2 * (Runtime.getRuntime().availableProcessors());
    /**
     * 隊列大小
     */
    public static final int QUEUE_SIZE = 1000;

    @Bean(name = "myIoThreadPool")
    public ThreadPoolTaskExecutor threadPoolExecutor(){
        //配置線程池選擇:ThreadPoolTaskExecutor,還是選擇ThreadPoolExecutor好些?
        // -> ThreadPoolTaskExecutor 是 Spring 框架中對 Java 自帶的線程池 ThreadPoolExecutor 進行了封裝和擴展,
        //    並增加了一些優化和功能。通常來說,如果你使用 Spring 框架,需要使用線程池,那麼建議使用 ThreadPoolTaskExecutor。
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        // 1核心線程數:當線程池中的線程數量為 corePoolSize 時,即使這些線程處於空閑狀態,也不會銷毀(除非設置 allowCoreThreadTimeOut=true)。
        //  -> 核心線程,也就是正在處理中的任務
        //  -> 雖然 CPU 核心數可以作為線程池中線程數量的參考指標,但最終線程數量還需要根據具體情況進行設置和調整。
        //  -> 如果同時運行的線程數量超過 CPU 核心數,就會發生--線程上下文切換--,導致額外的開銷和性能下降。所以線程不能創建得過多
        executor.setCorePoolSize(THREAD_SIZE);
        // 2最大線程數:線程池中允許的線程數量的最大值。
        //  -> 當線程數 = maxPoolSize最大線程數時,還有新任務,就會放進隊列中等待執行 ↓↓↓
        executor.setMaxPoolSize(THREAD_SIZE);
        // 3隊列長度:當核心線程數達到最大時,新任務會放在隊列中排隊等待執行
        //  -> 根據業務配置,如果隊列長度過大,可能會導致系統記憶體資源占用過高,最終導致 OOM,需要註意控制
        //  -> 如果需要執行的任務裝滿了隊列,就會走拒絕策略 ↓↓↓
        executor.setQueueCapacity(QUEUE_SIZE);
        // 4拒絕策略(官方提供4種,也可以自定義):因達到線程邊界和任務隊列滿時,針對新任務的處理方法。
        // -> AbortPolicy:直接丟棄任務並拋出 RejectedExecutionException 異常。(預設策略)
        // -> DiscardPolicy:直接丟棄掉,不會拋出異常
        // -> DiscardOldestPolicy:丟棄隊列最前面的任務,然後重新嘗試執行任務(重覆此過程)
        // -> CallerRunsPolicy:交給主線程(調用線程)去執行
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.AbortPolicy());
        // 5空閑線程存活時間(預設60s):設置當前線程池中空閑線程的存活時間,即線程池中的線程如果有一段時間沒有任務可執行,則會被回收掉。
        //  -> 當線程池中的線程數大於 corePoolSize 時,多餘的空閑線程將在銷毀之前等待新任務的最長時間。
        //  -> 如果一個線程在空閑時間超過了 keepAliveSeconds,且當前線程池中線程數量大於 corePoolSize,則該線程將會被回收;
        //  -> 核心線程會一直存活,除非線程池被關閉 或 設置下麵的參數
        //  -> 如果 AllowCoreThreadTimeout設置為true,核心線程也會被回收,直到線程池中的線程數降為 0。
        //     但如果線程池中有任務在執行,那麼空閑線程就會一直保持存活狀態,直到任務執行完畢。
        //  -> 該方法的使用可以將線程池的空閑線程回收,以減少資源占用,同時也能保證線程池中始終有可用的線程來執行任務,提高線程池的效率。
        executor.setKeepAliveSeconds(60);
        //6是否禁止線程池自動終止空閑的核心線程。
        // 為 true 時,空閑的核心線程會在 keepAliveTime 時間後被回收,並且在後續任務到來時需要重新創建線程來執行任務。
        // 為 false 時,線程池中的核心線程不會被回收,即使它們處於空閑狀態一段時間。
        //  -> 線上程池創建時,就會預先創建核心線程數的線程,這些線程將一直存在,除非線程池被關閉或重新配置。
        executor.setAllowCoreThreadTimeOut(true);
        // 7當前線程池的等待時間:指等待所有任務執行完畢後線程池的最長時間。300秒 = 5分鐘
        // -> 當所有任務執行完畢後,線程池會等待一段時間(即等待時間),來確保所有任務都已經完成。
        // -> 如果在等待時間內所有任務仍未完成,則線程池會強制停止,以確保任務不會無限制地執行下去。
        executor.setAwaitTerminationSeconds(300);
        // 8當前線程池是否在關閉時等待所有任務執行完成
        // -> 可以確保所有任務都執行完畢後才關閉線程池,避免任務被丟棄,同時也確保線程池可以正常結束,釋放資源。
        // -> 為 true 時,線程池在關閉時會等待所有任務都執行完成後再關閉
        // -> 為 false 時,線程池會直接關閉,未執行完成的任務將被丟棄。
        executor.setWaitForTasksToCompleteOnShutdown(true);
        // 9線程首碼名稱
        executor.setThreadNamePrefix("myIo-Th-Pool-");
        // 初始化
        executor.initialize();
        return executor;
    }
}

3.4、CPU密集型

package com.cc.md.config;

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;

import java.util.concurrent.ThreadPoolExecutor;

/** CPU型的線程池
 * @author CC
 * @since 2023/5/23 0023
 */
@Configuration
public class CpuThreadPool {

    /** 線程數量
     * CUP數量:N = Runtime.getRuntime().availableProcessors()
     * IO密級:2 * N
     * CPU密級:1 + N
     */
    public static final int THREAD_SIZE = 1 + (Runtime.getRuntime().availableProcessors());
    /**
     * 隊列大小
     */
    public static final int QUEUE_SIZE = 1000;

    @Bean(name = "myCpuThreadPool")
    public ThreadPoolTaskExecutor threadPoolExecutor(){
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setCorePoolSize(THREAD_SIZE);
        executor.setMaxPoolSize(THREAD_SIZE);
        executor.setQueueCapacity(QUEUE_SIZE);
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.AbortPolicy());
        executor.setKeepAliveSeconds(60);
        executor.setAllowCoreThreadTimeOut(true);
        executor.setAwaitTerminationSeconds(300);
        executor.setWaitForTasksToCompleteOnShutdown(true);
        executor.setThreadNamePrefix("myCpu-T-Pool-");
        executor.initialize();
        return executor;
    }
}

4、線程池的原始使用

  • 不要這樣使用
  • 使用CompletableFuture:見《Java的CompletableFuture,Java的多線程開發》
    @Resource(name = "myIoThreadPool")
    private ThreadPoolTaskExecutor myIoThreadPool;
    
    //線程池原始的使用
    @Test
    void test2() {
        try {
            for (int i = 0; i < 1000; i++) {
                int finalI = i;
                myIoThreadPool.submit(() -> {
                    //第一批創建的線程數
                    log.info("列印:{}", finalI);
                    //模仿io流耗時
                    try {
                        Thread.sleep(5000);
                    } catch (InterruptedException e) {
                        throw new RuntimeException(e);
                    }
                });
            }
        }catch(Exception e){
            throw new RuntimeException(e);
        }finally {
            myIoThreadPool.shutdown();
        }
    }

  • 參考

https://zhuanlan.zhihu.com/p/112527671

https://blog.csdn.net/shang_0122/article/details/120777113

https://blog.csdn.net/zhuimeng_by/article/details/107891268

https://blog.csdn.net/qq_25720801/article/details/129559164


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 最近在壓測一批介面,發現介面處理速度慢的有點超出預期,感覺很奇怪,後面定位發現是資料庫批量保存這塊很慢。 這個項目用的是 mybatis-plus,批量保存直接用的是 mybatis-plus 提供的 saveBatch。 我點進去看了下源碼,感覺有點不太對勁: 繼續追蹤了下,從這個代碼來看,確實是 ...
  • # 圖紙管理系統 ## 一、初步構建後端項目 ### 1、打開已經創建好的虛擬環境:激活activate(推薦使用虛擬環境)並創建項目 ![](https://img2023.cnblogs.com/blog/2240937/202305/2240937-20230524164953360-1300 ...
  • ### StringIO和BytesIO 很多時候,數據讀寫不一定是文件,也可以在記憶體中讀寫。StringIO就是在記憶體中讀寫str。 要把str寫入StringIO,我們需要先創建一個StringIO,然後,像文件一樣寫入即可: ```python >>> from io import Strin ...
  • # 二、Java開啟非同步的兩種方式 ## 1、註解開啟:==@Async== ### 1.1、配置非同步的線程池 - 必須配置非同步線程池,否則非同步不會生效。 - @EnableAsync 註解:指定非同步線程池。不指定預設使用:SimpleAsyncTaskExecutor線程池 - SimpleAsy ...
  • 摘要:這篇文章將詳細講解圖像形態學知識,主要介紹圖像腐蝕處理和膨脹處理。 本文分享自華為雲社區《[Python從零到壹] 四十七.圖像增強及運算篇之腐蝕和膨脹詳解》,作者: eastmount 。 一.形態學理論知識 數學形態學的應用可以簡化圖像數據,保持它們基本的形狀特征,並出去不相干的結構。數學 ...
  • 親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安裝方式親測好使的安 ...
  • 我們在學習 Java 基礎時就知道可以生成隨機數,可以為我們枯燥的學習增加那麼一丟丟的樂趣。本文就來介紹 Java 隨機數。 ...
  • ## 教程簡介 Ruby,一種簡單快捷的面向對象(面向對象程式設計)腳本語言,在20世紀90年代由日本人松本行弘(Yukihiro Matsumoto)開發,遵守GPL協議和Ruby License。它的靈感與特性來自於 Perl、Smalltalk、Eiffel、Ada以及 Lisp 語言。由 R ...
一周排行
    -Advertisement-
    Play Games
  • 概述:在C#中,++i和i++都是自增運算符,其中++i先增加值再返回,而i++先返回值再增加。應用場景根據需求選擇,首碼適合先增後用,尾碼適合先用後增。詳細示例提供清晰的代碼演示這兩者的操作時機和實際應用。 在C#中,++i 和 i++ 都是自增運算符,但它們在操作上有細微的差異,主要體現在操作的 ...
  • 上次發佈了:Taurus.MVC 性能壓力測試(ap 壓測 和 linux 下wrk 壓測):.NET Core 版本,今天計劃準備壓測一下 .NET 版本,來測試並記錄一下 Taurus.MVC 框架在 .NET 版本的性能,以便後續持續優化改進。 為了方便對比,本文章的電腦環境和測試思路,儘量和... ...
  • .NET WebAPI作為一種構建RESTful服務的強大工具,為開發者提供了便捷的方式來定義、處理HTTP請求並返迴響應。在設計API介面時,正確地接收和解析客戶端發送的數據至關重要。.NET WebAPI提供了一系列特性,如[FromRoute]、[FromQuery]和[FromBody],用 ...
  • 原因:我之所以想做這個項目,是因為在之前查找關於C#/WPF相關資料時,我發現講解圖像濾鏡的資源非常稀缺。此外,我註意到許多現有的開源庫主要基於CPU進行圖像渲染。這種方式在處理大量圖像時,會導致CPU的渲染負擔過重。因此,我將在下文中介紹如何通過GPU渲染來有效實現圖像的各種濾鏡效果。 生成的效果 ...
  • 引言 上一章我們介紹了在xUnit單元測試中用xUnit.DependencyInject來使用依賴註入,上一章我們的Sample.Repository倉儲層有一個批量註入的介面沒有做單元測試,今天用這個示例來演示一下如何用Bogus創建模擬數據 ,和 EFCore 的種子數據生成 Bogus 的優 ...
  • 一、前言 在自己的項目中,涉及到實時心率曲線的繪製,項目上的曲線繪製,一般很難找到能直接用的第三方庫,而且有些還是定製化的功能,所以還是自己繪製比較方便。很多人一聽到自己畫就害怕,感覺很難,今天就分享一個完整的實時心率數據繪製心率曲線圖的例子;之前的博客也分享給DrawingVisual繪製曲線的方 ...
  • 如果你在自定義的 Main 方法中直接使用 App 類並啟動應用程式,但發現 App.xaml 中定義的資源沒有被正確載入,那麼問題可能在於如何正確配置 App.xaml 與你的 App 類的交互。 確保 App.xaml 文件中的 x:Class 屬性正確指向你的 App 類。這樣,當你創建 Ap ...
  • 一:背景 1. 講故事 上個月有個朋友在微信上找到我,說他們的軟體在客戶那邊隔幾天就要崩潰一次,一直都沒有找到原因,讓我幫忙看下怎麼回事,確實工控類的軟體環境複雜難搞,朋友手上有一個崩潰的dump,剛好丟給我來分析一下。 二:WinDbg分析 1. 程式為什麼會崩潰 windbg 有一個厲害之處在於 ...
  • 前言 .NET生態中有許多依賴註入容器。在大多數情況下,微軟提供的內置容器在易用性和性能方面都非常優秀。外加ASP.NET Core預設使用內置容器,使用很方便。 但是筆者在使用中一直有一個頭疼的問題:服務工廠無法提供請求的服務類型相關的信息。這在一般情況下並沒有影響,但是內置容器支持註冊開放泛型服 ...
  • 一、前言 在項目開發過程中,DataGrid是經常使用到的一個數據展示控制項,而通常表格的最後一列是作為操作列存在,比如會有編輯、刪除等功能按鈕。但WPF的原始DataGrid中,預設只支持固定左側列,這跟大家習慣性操作列放最後不符,今天就來介紹一種簡單的方式實現固定右側列。(這裡的實現方式參考的大佬 ...