請求量突增一下，系統有效QPS為何下降很多？

来源:https://www.cnblogs.com/codelogs/archive/2023/01/16/17056485.html
-Advertisement-
Play Games

原創：扣釘日記（微信公眾號ID：codelogs），歡迎分享，轉載請保留出處。 簡介 最近我觀察到一個現象，當服務的請求量突發的增長一下時，服務的有效QPS會下降很多，有時甚至會降到0，這種現象網上也偶有提到，但少有解釋得清楚的，所以這裡來分享一下問題成因及解決方案。 隊列延遲 目前的Web伺服器， ...


原創：扣釘日記（微信公眾號ID：codelogs），歡迎分享，轉載請保留出處。

簡介

最近我觀察到一個現象，當服務的請求量突發的增長一下時，服務的有效QPS會下降很多，有時甚至會降到0，這種現象網上也偶有提到，但少有解釋得清楚的，所以這裡來分享一下問題成因及解決方案。

隊列延遲

目前的Web伺服器，如Tomcat，請求處理過程大概都類似如下：
image_2023-01-15_20230115173654
這是Tomcat請求處理的過程，如下：

  1. Acceptor線程：線程名類似http-nio-8080-Acceptor-0，此線程用於接收新的TCP連接，並將TCP連接註冊到NIO事件中。
  2. Poller線程：線程名類似http-nio-8080-ClientPoller-0，此線程一般有CPU核數個，用於輪詢已連接的Socket，接收新到來的Socket事件（如調用端發請求數據了），並將活躍Socket放入exec線程池的請求隊列中。
  3. exec線程：線程名類似http-nio-8080-exec-0，此線程從請求隊列中取出活躍Socket，並讀出請求數據，最後執行請求的API邏輯。

這裡不用太關心Acceptor與Poller線程，這是nio編程時常見的線程模型，我們將重點放在exec線程池上，雖然Tomcat做了一些優化，但它還是從Java原生線程池擴展出來的，即有一個任務隊列與一組線程。

當請求量突發增長時，會發生如下的情況：

  1. 當請求量不大時，任務隊列基本是空的，每個請求都能得到及時的處理。
  2. 但當請求量突發時，任務隊列中就會有很多請求，這時排在隊列後面的請求，就會被處理得越晚，因而請求的整體耗時就會變長，甚至非常長。

可是，exec線程們還是在一刻不停歇的處理著請求的呀，按理說服務QPS是不會減少的呀！

簡單想想的確如此，但調用端一般是有超時時間設置的，不會無限等待下去，當客戶端等待超時的時候，這個請求實際上Tomcat就不用再處理了，因為就算處理了，客戶端也不會再去讀響應數據的。
image_2023-01-15_20230115175826
因此，當隊列比較長時，隊列後面的請求，基本上都是不用再處理的，但exec線程池不知道啊，它還是會一如既往地處理這些請求。

當exec線程執行這些已超時的請求時，若又有新請求進來，它們也會排在隊尾，這導致這些新請求也會超時，所以在流量突發的這段時間內，請求的有效QPS會下降很多，甚至會降到0。

這種超時也叫做隊列延遲，但隊列在軟體系統中應用得太廣泛了，比如操作系統調度器維護了線程隊列，TCP中有backlog連接隊列，鎖中維護了等待隊列等等。

因此，很多系統也會存在這種現象，平時響應時間挺穩定的，但偶爾耗時很高，這種情況有很多都是隊列延遲導致的。

優化隊列延遲

知道了問題產生的原因，要優化它就比較簡單了，我們只需要讓隊列中那些長時間未處理的請求暫時讓路，讓線程去執行那些等待時間不長的請求即可，畢竟這些長時間未處理的請求，讓它們再等等也無防，因為客戶端可能已經超時了而不需要請求結果了，雖然這破壞了隊列的公平性，但這是我們需要的。

對於Tomcat，在springboot中，我們可以如下修改：
使用WebServerFactoryCustomizer自定義Tomcat的線程池，如下：

@Component
public class TomcatExecutorCustomizer implements WebServerFactoryCustomizer<TomcatServletWebServerFactory> {
    @Resource
    ServerProperties serverProperties;

    @Override
    public void customize(TomcatServletWebServerFactory factory) {
        TomcatConnectorCustomizer tomcatConnectorCustomizer = connector -> {
            ServerProperties.Tomcat.Threads threads = serverProperties.getTomcat().getThreads();
            TaskQueue taskqueue = new SlowDelayTaskQueue(1000);
            ThreadPoolExecutor executor = new org.apache.tomcat.util.threads.ThreadPoolExecutor(
                    threads.getMinSpare(), threads.getMax(), 60L, TimeUnit.SECONDS,
                    taskqueue, new CustomizableThreadFactory("http-nio-8080-exec-"));
            taskqueue.setParent(executor);
            ProtocolHandler handler = connector.getProtocolHandler();
            if (handler instanceof AbstractProtocol) {
                AbstractProtocol<?> protocol = (AbstractProtocol<?>) handler;
                protocol.setExecutor(executor);
            }
        };
        factory.addConnectorCustomizers(tomcatConnectorCustomizer);
    }
}

註意，這裡還是使用的Tomcat實現的線程池，只是將任務隊列TaskQueue擴展為了SlowDelayTaskQueue，它的作用是將長時間未處理的任務移到另一個慢隊列中，待當前隊列中無任務時，再把慢隊列中的任務移回來。

為了能記錄任務入隊列的時間，先封裝了一個記錄時間的任務類RecordTimeTask，如下：

@Getter
public class RecordTimeTask implements Runnable {
    private Runnable run;
    private long createTime;
    private long putQueueTime;

    public RecordTimeTask(Runnable run){
        this.run = run;
        this.createTime = System.currentTimeMillis();
        this.putQueueTime = this.createTime;
    }
    @Override
    public void run() {
        run.run();
    }

    public void resetPutQueueTime() {
        this.putQueueTime = System.currentTimeMillis();
    }

    public long getPutQueueTime() {
        return this.putQueueTime;
    }
}

然後隊列的擴展實現如下：

public class SlowDelayTaskQueue extends TaskQueue {
    private long timeout;
    private BlockingQueue<RecordTimeTask> slowQueue;

    public SlowDelayTaskQueue(long timeout) {
        this.timeout = timeout;
        this.slowQueue = new LinkedBlockingQueue<>();
    }

    @Override
    public boolean offer(Runnable o) {
        // 將任務包裝一下，目的是為了記錄任務放入隊列的時間
        if (o instanceof RecordTimeTask) {
            return super.offer(o);
        } else {
            return super.offer(new RecordTimeTask(o));
        }
    }

    public void pullbackIfEmpty() {
        // 如果隊列空了，從慢隊列中取回來一個
        if (this.isEmpty()) {
            RecordTimeTask r = slowQueue.poll();
            if (r == null) {
                return;
            }
            r.resetPutQueueTime();
            this.add(r);
        }
    }

    @Override
    public Runnable poll(long timeout, TimeUnit unit) throws InterruptedException {
        pullbackIfEmpty();
        while (true) {
            RecordTimeTask task = (RecordTimeTask) super.poll(timeout, unit);
            if (task == null) {
                return null;
            }
            // 請求在隊列中長時間等待，移入慢隊列中
            if (System.currentTimeMillis() - task.getPutQueueTime() > this.timeout) {
                this.slowQueue.offer(task);
                continue;
            }
            return task;
        }
    }

    @Override
    public Runnable take() throws InterruptedException {
        pullbackIfEmpty();
        while (true) {
            RecordTimeTask task = (RecordTimeTask) super.take();
            // 請求在隊列中長時間等待，移入慢隊列中
            if (System.currentTimeMillis() - task.getPutQueueTime() > this.timeout) {
                this.slowQueue.offer(task);
                continue;
            }
            return task;
        }
    }
}

邏輯其實挺簡單的，如下：

  1. 當任務入隊列時，包裝一下任務，記錄一下入隊列的時間。
  2. 然後線程從隊列中取出任務時，若發現任務等待時間過長，就將其移入慢隊列。
  3. 而pullbackIfEmpty的邏輯，就是當隊列為空時，再將慢隊列中的任務移回來執行。

為了將請求的隊列延遲記錄在access.log中，我又修改了一下Task，並加了一個Filter，如下：

  1. 使用ThreadLocal將隊列延遲先存起來
@Getter
public class RecordTimeTask implements Runnable {
    private static final ThreadLocal<Long> WAIT_IN_QUEUE_TIME = new ThreadLocal<>();

    private Runnable run;
    private long createTime;
    private long putQueueTime;
    public RecordTimeTask(Runnable run){
        this.run = run;
        this.createTime = System.currentTimeMillis();
        this.putQueueTime = this.createTime;
    }
    @Override
    public void run() {
        try {
            WAIT_IN_QUEUE_TIME.set(System.currentTimeMillis() - this.createTime);
            run.run();
        } finally {
            WAIT_IN_QUEUE_TIME.remove();
        }
    }

    public void resetPutQueueTime() {
        this.putQueueTime = System.currentTimeMillis();
    }

    public long getPutQueueTime() {
        return this.putQueueTime;
    }

    public static long getWaitInQueueTime(){
        return ObjectUtils.defaultIfNull(WAIT_IN_QUEUE_TIME.get(), 0L);
    }
}
  1. 再在Filter中將隊列延遲取出來，放入Request對象中
@WebFilter
@Component
public class WaitInQueueTimeFilter extends HttpFilter {

    @Override
    public void doFilter(HttpServletRequest request, HttpServletResponse response, FilterChain chain) throws
                                                                                                      IOException,
                                                                                                      ServletException {
        long waitInQueueTime = RecordTimeTask.getWaitInQueueTime();
        // 將等待時間設置到request的attribute中，給access.log使用
        request.setAttribute("waitInQueueTime", waitInQueueTime);

        // 如果請求在隊列中等待了太長時間，客戶端大概率已超時，就沒有必要再執行了
        if (waitInQueueTime > 5000) {
            response.sendError(503, "service is busy");
            return;
        }
        chain.doFilter(request, response);
    }

}
  1. 然後在access.log中配置隊列延遲
server:
  tomcat:
    accesslog:
      enabled: true
      directory: /home/work/logs/applogs/java-demo
      file-date-format: .yyyy-MM-dd
      pattern: '%h %l %u %t "%r" %s %b %Dms %{waitInQueueTime}rms "%{Referer}i" "%{User-Agent}i" "%{X-Forwarded-For}i"'

註意，在access.log中配置%{xxx}r表示取請求xxx屬性的值，所以，%{waitInQueueTime}r就是隊列延遲，後面的ms是毫秒單位。

優化效果

我使用介面壓測工具wrk壓了一個測試介面，此介面執行時間100ms，使用1000個併發去壓，1s的超時時間，如下：

wrk -d 10d -T1s --latency http://localhost:8080/sleep -c 1000

然後，用arthas看一下線程池的隊列長度，如下：

[arthas@619]$ vmtool --action getInstances \
    --classLoaderClass org.springframework.boot.loader.LaunchedURLClassLoader \
    --className org.apache.tomcat.util.threads.ThreadPoolExecutor \
    --express 'instances.{ #{"ActiveCount":getActiveCount(),"CorePoolSize":getCorePoolSize(),"MaximumPoolSize":getMaximumPoolSize(),"QueueSize":getQueue().size()} }' \
    -x 2

image_2023-01-16_20230116003607
可以看到，隊列長度遠小於1000，這說明隊列中積壓得不多。

再看看access.log，如下：
image_2023-01-15_20230115233508
可以發現，雖然隊列延遲任然存在，但被控制在了1s以內，這樣這些請求就不會超時了，Tomcat的有效QPS保住了。

而最後面那些隊列延遲極長的請求，則是被不公平對待的請求，但只能這麼做，因為在請求量超出Tomcat處理能力時，只能犧牲掉它們，以保全大局。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • JavaScript 判斷變數的類型
    JavaScript 中有多種方法來判斷變數的類型，如 typeof、instanceof、Object.prototype.toString.call()、constructor屬性、Symbol.toStringTag屬性以及 lodash 等第三方庫 ...
  • JavaScript 淺拷貝和深拷貝
    JavaScript 中的拷貝分為兩種：淺拷貝和深拷貝。 淺拷貝是指在拷貝過程中，只拷貝一個對象中的指針，而不拷貝實際的數據。所以，淺拷貝中修改新對象中的數據時，原對象中的數據也會被改變。 深拷貝是指在拷貝過程中，拷貝一個對象中的所有數據，並創建一個新對象，對新對象進行操作並不會影響到原對象。 ...
  • Vue 快速入門(一)
    1、介紹 Vue（讀音/vju/，類似view），是中國的大神尤雨溪開發的，為數不多的國人開發的世界頂級開源軟體。是一套用於構建用戶界面的漸進式框架，Vue 被設計為可以自底向上逐層應用。MVVM響應式編程模型，避免直接操作DOM，降低DOM操作的複雜性。 Vue官網地址：https://cn.vu ...
  • node和npm如何升級版本
    node和npm在某種意義上，早已成為當前前端開發中不可或缺的工具。 本文將介紹如何進行node和npm的版本升級和指定等等操作。 查看node和npm版本： node -v npm -v 清除npm緩存： npm cache clean -f 如何升級npm 當只需要簡單的升級 npm 的時候，可 ...
  • CAP特性與Base理論
    CAP特性 ​ CAP理論是在設計分散式系統的過程中，處理數據一致性問題時必須考慮的理論，一個分散式系統最多只能同時滿足一致性（Consistence）、可用性（Availability）和分區容錯性（Partition tolerance）這三項中的兩項。 2000年7月Eric Brewer教授 ...
  • StringBuilder類
    StringBuilder類 一、結構剖析 一個可變的字元序列。此類提供一個與 StringBuffer 相容的 API，但不保證同步（StringBuilder 不是線程安全的）。該類被設計用作 StringBuffer 的一個簡易替換，==用在字元串緩衝區被單個線程使用的時候==。如果可能，建議 ...
  • Typora軟體與Markdown語法
    Typora軟體與Markdown語法 Typora軟體的安裝 ​ ==Typora是什麼軟體：== ​ Typora是一款很火的輕量級支持Markdown語法的文本編輯器 ​ ==Typora下載：== ​ mac：https://mac.qdrayst.com/02/Typora_1.1.4_m ...
  • pycharm下載安裝與基本配置
    pycharm下載安裝與基本配置 1.簡介 PyCharm是一種Python IDE（Integrated Development Environment，集成開發環境），帶有一整套可以幫助用戶在使用Python語言開發時提高其效率的工具，比如調試、語法高亮、項目管理、代碼跳轉、智能提示、自動完成、 ...
一周排行
    -Advertisement-
    Play Games
  • .net 6 C#中System.IO.Path類的用法
    1. 說明 /* Performs operations on System.String instances that contain file or directory path information. These operations are performed in a cross-pla ...
  • 使用WebApi+Vue3從0到1搭建《許可權管理系統》:二、搭建JWT系統鑒權
    視頻地址：【WebApi+Vue3從0到1搭建《許可權管理系統》系列視頻：搭建JWT系統鑒權-嗶哩嗶哩】 https://b23.tv/R6cOcDO qq群:801913255 一、在appsettings.json中設置鑒權屬性 /*jwt鑒權*/ "JwtSetting": { "Issuer" ...
  • 實戰指南：使用 xUnit 和 ASP.NET Core 進行集成測試【完整教程】
    引言 集成測試可在包含應用支持基礎結構（如資料庫、文件系統和網路）的級別上確保應用組件功能正常。 ASP.NET Core 通過將單元測試框架與測試 Web 主機和記憶體中測試伺服器結合使用來支持集成測試。 簡介 集成測試與單元測試相比，能夠在更廣泛的級別上評估應用的組件，確認多個組件一起工作以生成預 ...
  • .NET Emit 入門教程：第六部分：IL 指令：9：詳解 ILGenerator 指令方法：運算操作指令（指令篇結束）
    在.NET Emit編程中，我們探討了運算操作指令的重要性和應用。這些指令包括各種數學運算、位操作和比較操作，能夠在動態生成的代碼中實現對數據的處理和操作。通過這些指令，開發人員可以靈活地進行算術運算、邏輯運算和比較操作，從而實現各種複雜的演算法和邏輯......本篇之後，將進入第七部分：實戰項目 ...
  • WPF多表頭表格實現
    前言 多表頭表格是一個常見的業務需求，然而WPF中卻沒有預設實現這個功能，得益於WPF強大的控制項模板設計，我們可以通過修改控制項模板的方式自己實現它。 一、需求分析 下圖為一個典型的統計表格，統計1-12月的數據。 此時我們有一個需求，需要將月份按季度劃分，以便能夠直觀地看到季度統計數據，以下為該需求 ...
  • gRPC入門學習之旅（七）
    如何將 ASP.NET Core MVC 項目的視圖分離到另一個項目 在當下這個年代 SPA 已是主流，人們早已忘記了 MVC 以及 Razor 的故事。但是在某些場景下 SSR 還是有意想不到效果。比如某些靜態頁面，比如追求首屏載入速度的時候。最近在項目中回歸傳統效果還是不錯。 有的時候我們希望將 ...
  • System.AggregateException: 發生一個或多個錯誤.....
    System.AggregateException: 發生一個或多個錯誤。 > Microsoft.WebTools.Shared.Exceptions.WebToolsException: 生成失敗。檢查輸出視窗瞭解更多詳細信息。 內部異常堆棧跟蹤的結尾 > (內部異常 #0) Microsoft ...
  • 精通中間件測試：Asp.Net Core實戰指南，提升應用穩定性和可靠性
    引言 在上一章節我們實戰了在Asp.Net Core中的項目實戰，這一章節講解一下如何測試Asp.Net Core的中間件。 TestServer 還記得我們在集成測試中提供的TestServer嗎？ TestServer 是由 Microsoft.AspNetCore.TestHost 包提供的。 ...
  • Case表達式
    在發現結果為真的WHEN子句時,CASE表達式的真假值判斷會終止,剩餘的WHEN子句會被忽略: CASE WHEN col_1 IN ('a', 'b') THEN '第一' WHEN col_1 IN ('a') THEN '第二' ELSE '其他' END 註意: 統一各分支返回的數據類型. ...
  • 揭秘：C#語法中“_ =” 是什麼？
    在C#編程世界中，語法的精妙之處往往體現在那些看似微小卻極具影響力的符號與結構之中。其中，“_ =” 這一組合突然出現還真不知道什麼意思。本文將深入剖析“_ =” 的含義、工作原理及其在實際編程中的廣泛應用，揭示其作為C#語法奇兵的重要角色。 一、下劃線 _：神秘的棄元符號 下劃線 _ 在C#中並非 ...
所有分類