前言 多線程是每個程式員的噩夢,用得好可以提升效率很爽,用得不好就是埋汰的火葬場。 這裡不深入介紹,主要是講解一些標準用法,熟讀唐詩三百首,不會作詩也會吟。 這裡就介紹一下springboot中的多線程的使用,使用線程連接池去非同步執行業務方法。 由於代碼中包含詳細註釋,也為了保持文章的整潔性,我就不 ...
前言
- 多線程是每個程式員的噩夢,用得好可以提升效率很爽,用得不好就是埋汰的火葬場。
- 這裡不深入介紹,主要是講解一些標準用法,熟讀唐詩三百首,不會作詩也會吟。
- 這裡就介紹一下springboot中的多線程的使用,使用線程連接池去非同步執行業務方法。
- 由於代碼中包含詳細註釋,也為了保持文章的整潔性,我就不過多的做文字描述了。
VisiableThreadPoolTaskExecutor 編寫
- new VisiableThreadPoolTaskExecutor() 方式創建線程池, 返回值是 Executor
點擊查看代碼
import lombok.extern.slf4j.Slf4j;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;
import org.springframework.util.concurrent.ListenableFuture;
import java.util.concurrent.Callable;
import java.util.concurrent.Future;
import java.util.concurrent.ThreadPoolExecutor;
/**
* @author love ice
* @create 2023-09-19 0:17
*/
@Slf4j
public class VisiableThreadPoolTaskExecutor extends ThreadPoolTaskExecutor {
@Override
public void execute(Runnable task){
showThreadPoolInfo("execute一個參數的方法執行");
}
@Override
public void execute(Runnable task, long startTimeout){
showThreadPoolInfo("execute兩個參數的方法執行");
}
@Override
public Future<?> submit(Runnable task){
showThreadPoolInfo("submit Runnable task 入參方法執行");
return super.submit(task);
}
@Override
public <T> Future<T> submit(Callable<T> task){
showThreadPoolInfo("submit Callable<T> task 入參方法執行");
return super.submit(task);
}
@Override
public ListenableFuture<?> submitListenable(Runnable task){
showThreadPoolInfo("submitListenable(Runnable task) 方法執行");
return super.submitListenable(task);
}
@Override
public <T>ListenableFuture<T> submitListenable(Callable<T> task){
showThreadPoolInfo("submitListenable(Callable<T> task) 方法執行");
return super.submitListenable(task);
}
private void showThreadPoolInfo(String prefix){
ThreadPoolExecutor threadPoolExecutor = getThreadPoolExecutor();
log.info("{}, {}, taskCount[{}], completedTaskCount[{}], activeCount[{}], queueSize[{}]",
this.getThreadNamePrefix(), prefix, threadPoolExecutor.getTaskCount(),
threadPoolExecutor.getCompletedTaskCount(), threadPoolExecutor.getActiveCount(),
threadPoolExecutor.getQueue().size());
}
}
ThreadExceptionLogHandler 編寫
- 主要用於線程池出現異常時的捕獲
點擊查看代碼
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;
/**
* @author love ice
* @create 2023-09-19 0:13
*/
@Slf4j
@Component
public class ThreadExceptionLogHandler implements Thread.UncaughtExceptionHandler {
@Override
public void uncaughtException(Thread t, Throwable e) {
log.error("[{}]線程池異常,異常信息為:{}",t.getName(),e.getMessage(),e);
}
}
ExecutorConfig 編寫
- 核心配置類
點擊查看代碼
import com.test.redis.Infrastructure.handler.ThreadExceptionLogHandler;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.annotation.EnableAsync;
import java.util.concurrent.*;
import java.util.concurrent.atomic.AtomicInteger;
/**
* 線程池配置
*
* @author love ice
* @create 2023-09-19 0:09
*/
@Configuration
@EnableAsync
public class ExecutorConfig {
@Value("${thread.pool.coreSize:50}")
private int coreSize;
@Value("${thread.pool.maxSize:50}")
private int maxSize;
@Value("${thread.pool.queueSize:9999}")
private int queueSize;
@Value("${thread.pool.threadNamePrefix:thread-name}")
private String threadNamePrefix;
@Value("${thread.pool.keepAlive:60}")
private int keepAlive;
@Autowired
private ThreadExceptionLogHandler threadExceptionLogHandler;
/**
* 方式一: new VisiableThreadPoolTaskExecutor() 方式創建線程池,返回值是 Executor
* 適用於 @Async("asyncServiceExecutor") 註解
* 也可以
* @Autowired
* private Executor asyncServiceExecutor;
*
* @return Executor
*/
@Bean
public Executor asyncServiceExecutor() {
VisiableThreadPoolTaskExecutor executor = new VisiableThreadPoolTaskExecutor();
// 配置核心線程數 50
executor.setCorePoolSize(coreSize);
// 配置最大線程數 50
executor.setMaxPoolSize(maxSize);
// 配置隊列大小 9999
executor.setQueueCapacity(queueSize);
// 配置線程池中的線程名稱首碼 模塊-功能-作用
executor.setThreadNamePrefix(threadNamePrefix);
// rejection-policy:當pool已經達到max size的時候,如何處理新任務
// CALLER_RUNS:不在新線程中執行任務,而是有調用者所在的線程來執行
// 線程池無法接受新的任務並且隊列已滿時,如果有新的任務提交給線程池,而線程池已經達到了最大容量限制,那麼這個任務不會被丟棄,而是由調用該任務的線程來執行。
// 這樣可以避免任務被直接丟棄,並讓調用者自己執行任務以減輕任務提交頻率。
// 這個拒絕策略可能會導致任務提交者的線程執行任務,這可能會對調用者的性能產生一些影響,因為調用者線程需要等待任務執行完成才能繼續進行其他操作。
executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
// 線程空閑後的最大存活時間 60
executor.setKeepAliveSeconds(keepAlive);
// 執行初始化
executor.initialize();
return executor;
}
/**
* 方式二: new ThreadPoolExecutor() 方式創建線程池
* 適用於:
* @Autowired
* private ExecutorService fbWorkerPool;
* @return ExecutorService
*/
@Bean
public ExecutorService workerPool() {
return new ThreadPoolExecutor(coreSize, maxSize, keepAlive, TimeUnit.MILLISECONDS,
new LinkedBlockingDeque<>(20000),
new ThreadFactory() {
private final AtomicInteger threadNumber = new AtomicInteger(1);
@Override
public Thread newThread(Runnable runnable) {
Thread thread = new Thread(runnable, threadNamePrefix + threadNumber.getAndIncrement());
thread.setUncaughtExceptionHandler(threadExceptionLogHandler);
return thread;
}
});
}
}
ExecutorController 編寫
- 演示demo,三種不同的用法, 足以涵蓋大部分場景
點擊查看代碼
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.scheduling.annotation.Async;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;
import java.util.concurrent.CompletableFuture;
import java.util.concurrent.ExecutorService;
import java.util.stream.Collectors;
/**
* 這裡是demo演示、把業務寫在 controller 了,一般開發都是在 service 層實現的。
*
* @author love ice
* @create 2023-09-19 0:59
*/
@RestController
@RequestMapping("/executor")
public class ExecutorController {
/**
* demo1: 使用非同步註解 @Async("asyncServiceExecutor") 執行方法,適用於沒有返回值的情況下
*/
public void asyncDemo1() {
// 假設這是從資料庫查詢出來的數據
List<String> nameList = new ArrayList<>(Arrays.asList("張三", "李四", "王五"));
// 把 nameList 進行切分
int j = 0, size = nameList.size(), batchSize = 10;
List<List<String>> list = new ArrayList<>();
while (j < size) {
List<String> batchList = nameList.stream().skip(j).limit(Math.min(j + batchSize, size) - j).collect(Collectors.toList());
list.add(batchList);
j += batchSize;
}
// 先把 list 切分成小份數據,在使用 @Async(),非同步處理數據
list.stream().parallel().forEach(this::asynchronousAuthorization1);
}
/**
* 非同步註解處理業務邏輯,實際業務開發,需要提取到 Service 層,否則會報錯。
*
* @param paramList 入參
*/
@Async("asyncServiceExecutor")
public void asynchronousAuthorization1(List<String> paramList) {
paramList.forEach(System.out::println);
System.out.println("非同步執行 paramList 業務邏輯");
}
//================================分隔符======================
@Autowired
private ExecutorService workerPool;
/**
* demo2: workerPool.execute() 實現非同步邏輯。適用於沒有返回值的情況下
*/
public void asyncDemo2() {
// 假設這是從資料庫查詢出來的數據
List<String> nameList = new ArrayList<>(Arrays.asList("張三", "李四", "王五"));
// 把 nameList 進行切分
int j = 0, size = nameList.size(), batchSize = 10;
List<List<String>> list = new ArrayList<>();
while (j < size) {
List<String> batchList = nameList.stream().skip(j).limit(Math.min(j + batchSize, size) - j).collect(Collectors.toList());
list.add(batchList);
j += batchSize;
}
// 將 list 切分成小份數據,workerPool.execute(),非同步處理數據
list.stream().parallel().forEach(paramList->{
workerPool.execute(()->asynchronousAuthorization2(paramList));
});
}
public void asynchronousAuthorization2(List<String> paramList) {
paramList.forEach(System.out::println);
System.out.println("非同步執行 paramList 業務邏輯");
}
//================================分隔符======================
/**
* demo3: futures.add() 實現非同步邏輯。適用於有返回值的情況下
*/
public void asyncDemo3() {
// 假設這是從資料庫查詢出來的數據
List<String> nameList = new ArrayList<>(Arrays.asList("張三", "李四", "王五"));
// 把 nameList 進行切分
int j = 0, size = nameList.size(), batchSize = 10;
List<List<String>> list = new ArrayList<>();
while (j < size) {
List<String> batchList = nameList.stream().skip(j).limit(Math.min(j + batchSize, size) - j).collect(Collectors.toList());
list.add(batchList);
j += batchSize;
}
List<CompletableFuture<String>> futures = new ArrayList<>();
// 將 list 切分成小份數據,futures.add(),非同步處理數據,有返回值的情況下
list.forEach(paramList->{
// CompletableFuture.supplyAsync() 該任務會在一個新的線程中執行,並返回一個結果
// 通過futures.add(...)將這個非同步任務添加到futures列表中。這樣可以方便後續對多個非同步任務進行管理和處理
futures.add(CompletableFuture.supplyAsync(() -> {
asynchronousAuthorization3(paramList);
return "預設值";
}, workerPool));
// 防止太快,讓它休眠一下
try {
Thread.sleep(500);
} catch (InterruptedException e) {
throw new RuntimeException(e);
}
});
//new CompletableFuture[0] 創建了一個初始長度為 0 的 CompletableFuture 數組,作為目標數組。然後,futures.toArray(new CompletableFuture[0]) 將 futures 列表中的元素複製到目標數組中,並返回結果數組。
CompletableFuture<String>[] futuresArray = futures.toArray(new CompletableFuture[0]);
// 通過將多個非同步任務添加到futures列表中,我們可以使用CompletableFuture提供的方法來對這些非同步任務進行組合、等待和處理。
// 例如使用CompletableFuture.allOf(...)等待所有任務完成,或者使用CompletableFuture.join()獲取單個任務的結果等。
CompletableFuture.allOf(futures.toArray(futuresArray)).join();
// 獲取每個任務的結果或處理異常
List<String> results = new ArrayList<>();
for (CompletableFuture<String> future :futuresArray) {
// 處理任務的異常
future.exceptionally(ex -> {
System.out.println("Task encountered an exception: " + ex.getMessage());
return "0"; // 返回預設值或者做其他補償操作
});
// 獲取任務結果
String result = future.join();
results.add(result);
}
// 所有任務已完成,可以進行下一步操作
}
public void asynchronousAuthorization3(List<String> paramList) {
paramList.forEach(System.out::println);
System.out.println("非同步執行 paramList 業務邏輯");
}
}