怎麼利用非同步設計提升系統性能?

来源:https://www.cnblogs.com/wing011203/archive/2023/03/12/17207554.html
-Advertisement-
Play Games

這篇文章主要描述非同步設計,非同步是一種程式設計的思想,使用非同步模式設計的程式可以顯著減少線程等待,從而在高吞吐量的場景中,極大提升系統的整體性能,降低請求時延。 ...


非同步是一種程式設計的思想,使用非同步模式設計的程式可以顯著減少線程等待,從而在高吞吐量的場景中,極大提升系統的整體性能,降低請求時延。

同步設計流程

我們假設要做一個轉賬的業務,即從賬戶A中轉賬100元到賬戶B中,它包含2步:

  1. 從A的賬戶中減少100元
  2. 給B的賬戶增加100元

我們可以設計2個Service:

  • Transfer服務,負責轉賬,介面是Transfer(A, B, 100)
  • Account服務,負責賬戶管理,介面是Add(A, -100)和Add(B, 100)

轉賬業務的偽代碼如下:

Transfer(accountFrom, accountTo, amount){
    Add(accountFrom, -1*amount)
    Add(accountTo, 1*amount)
    return OK
}

假設Add操作的平均響應時延是50ms,那麼我們的Transfer操作平均實驗大約是100ms。在實際運行過程中,每處理一次Transfer操作,需要耗時100ms,並且在100ms內需要獨占一個線程,即每個線程每秒最多可以處理10次Transfer操作。

假設我們在一個伺服器上同時打開的線程數量上限是10000,那麼這個伺服器每秒可以處理的請求上限是:10000*10 = 100000次。

當客戶請求數量超過上限時,請求就需要排隊,那麼Transfer操作的響應時延變成:排隊等待時延+處理時延(100ms),即在大量請求的場景中,我們的服務響應時延增加了。

但是,在這種情況下,伺服器的資源並沒有被消耗很多,例如CPU、記憶體、網卡等資源都很空閑,我們的100000個線程大部分時間在等待Add操作返回結果。

上面就是同步設計方式,在這種情況下,整個伺服器的所有線程大部分時間都沒有在工作,而是在等待。

非同步設計流程

對於同樣的業務場景,我們來看一下非同步方式下的偽代碼:

TransferAsync(accountFrom, accountTo, amount, OnComplete){
    AddAsync(accountFrom, -1*amount, OnDebit(accountTo, 1*amount, OnAllDone(OnComplete)))
}

OnDebit(amountTo, amount, OnAllDone(OnComplete)){
    AddAsync(accountTo, amount, OnAllDone(OnComplete))
}

OnAllDone(OnComplete){
    OnComplete()
}

這裡TransferAsync和之前的Transfer相比,增加了一個參數,這個參數是一個回調方法OnComplete()。

上面方法的語義:請幫我執行轉賬操作,當轉賬完成後,請調用OnComplete()方法,調用TransferAsync的線程不必等待轉賬完成就可以立即返回,當轉賬結束後,OnComplete()方法會被調用來執行後續的工作。

上面代碼中,我們定義了2個回調方法:

  1. OnDebit():扣減賬戶accountFrom完成後調用的回調方法
  2. OnAllDone():轉入賬戶accountTop完成後調用的回調方法

整個非同步操作的語義如下:

  1. 非同步從accountFrom的賬戶中減去相應的錢數,然後調用OnDebit方法
  2. 在OnDebit方法中,非同步把減去的錢數加到accountTop賬戶中,然後執行OnAllDone方法
  3. 在OnAllDone方法中,調用OnComplete方法

採用非同步方式後,整個流程的時序和同步實現是完全一樣的,區別在於線程模型由同步順序調用改為非同步調用和回調的機制。

由於流程的時序和同步方式相同,在低請求量的場景下,平均響應時延還是100ms,在超高請求量的場景下,非同步機制不需要線程等待執行結果,只需要個位數的線程,即可實現同步場景大量線程一樣的吞吐量。

在非同步模式下,由於沒有了線程數量上的限制,總體吞吐量上限會大大超過同步實現,並且在伺服器CPU、網路帶寬資源達到極限之前,響應時延不會隨著請求數量增加而顯著升高,幾乎可以一直保持100ms左右的響應時延。

非同步框架:CompletableFuture

Java語言中常用的非同步框架包括CompletableFuture和RxJava,我們主要來看CompletableFuture。

它是Java 8中新增的一個強大的非同步編程的類,包括了我們在開發非同步程式過程中需要的大部分功能。

針對上述的轉賬場景,我們來看一下如何使用CompletableFuture實現。

首先定義2個介面:


public interface AccountService {

    CompletableFuture<Void> add(int account, int amount);
}

public interface TransferService {

    CompletableFuture<Void> transfer(int fromAccount, int toAccount, int amount);
}

然後實現轉賬功能:


public class TransferServiceImpl implements TransferService {
    @Inject
    private  AccountService accountService; 

    @Override
    public CompletableFuture<Void> transfer(int fromAccount, int toAccount, int amount) {
      return accountService.add(fromAccount, -1 * amount)
        .thenCompose(v -> accountService.add(toAccount, amount));    
    }
}

客戶端調用TransferService時,可以使用同步方式,也可以使用非同步方式:


public class Client {
    @Inject
    private TransferService transferService; 
    private final static int A = 1000;
    private final static int B = 1001;

    public void syncInvoke() throws ExecutionException, InterruptedException {
        // 同步調用
        transferService.transfer(A, B, 100).get();
        System.out.println("轉賬完成!");
    }

    public void asyncInvoke() {
        // 非同步調用
        transferService.transfer(A, B, 100)
            .thenRun(() -> System.out.println("轉賬完成!"));
    }
}

非同步設計的思想:當我們要執行一項比較耗時的操作時,不去等待操作結束,而是給這個操作一個命令:“當操作完成後,接下來去執行什麼”。

使用非同步編程帶來的好處是可以減少或者避免線程等待,只用很少的線程就可以達到超高的吞吐能力。

使用非同步編程帶來的問題是複雜度增加,代碼可讀性和可維護性會下降。

    作者:李潘     出處:http://wing011203.cnblogs.com/     本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前言 我08年畢業,大學跟著老師培訓班學習的C#,那時(2003-2010)它很是時髦,畢業後也就從事了winform窗體應用程式開發。慢慢的web網站興起,就轉到asp.net開發,再到後來就上了另一艘大船(java),前端app混合開發。近三年從事web站點運維,從linux基礎+docker, ...
  • SQL實踐1 藉著學校的資料庫實驗,來對之前學習的SQL語言進行實踐和總結。 實驗環境: macOS 13.2 (22D49) mysql Ver 8.0.32 for macos13.0 on arm64 (Homebrew) DataGrip 2022.3.3 一. DataGrip連接本地My ...
  • 本文已經收錄到Github倉庫,該倉庫包含電腦基礎、Java基礎、多線程、JVM、資料庫、Redis、Spring、Mybatis、SpringMVC、SpringBoot、分散式、微服務、設計模式、架構、校招社招分享等核心知識點,歡迎star~ Github地址:https://github.c ...
  • Redis(REmote DIctionary Service)是一個開源的鍵值對資料庫伺服器。 Redis 更準確的描述是一個數據結構伺服器。Redis 的這種特殊性質讓它在開發人員中很受歡迎。 ...
  • 前言 今天我們來解密下init.ts中的代碼內容,並結合 vue 生命周期來分析下 vue 的初始化; GitHub github page 內容 init.ts import config from '../config' import { initProxy } from './proxy' i ...
  • 好家伙,本篇為《JS高級程式設計》第二五章“瀏覽器存儲”學習筆記 我們先來講個故事 一個“薅羊毛”的故事 (qq.com) 概括一下,就是 有個人通過網路平臺非法購買了大量“cookie”數據。 突破平臺封控,冒用他人新用戶身份,非法騙取新用戶優惠券。 拿著優惠券低價購入商品,隨後轉賣並從中賺取差價 ...
  • three.js、webgl、3D消防、智慧消防、三維消防、使用three.js(webgl)搭建智慧樓宇消防、3D園區、3D廠房、3D倉庫、設備檢測、數字孿生、物聯網3D、物業3D監控、物業基礎設施可視化運維、3d建築,3d消防,消防演習模擬,3d庫房,webGL,threejs,3d機房,bim... ...
  • 在前端開發中,策略模式是一種常用的設計模式,它可以讓我們在不改變對象本身的情況下,通過修改其內部的演算法實現不同的行為。策略模式常常被用於實現一些複雜的業務邏輯,特別是需要根據不同的條件進行處理的情況。 下麵是一個簡單的示例,演示瞭如何使用策略模式來實現一個計算器: // 定義一個策略對象 const ...
一周排行
    -Advertisement-
    Play Games
  • .NET Core 選項系統的主要實現在 Microsoft.Extensions.Options 和 Microsoft.Extensions.Options.ConfigurationExtensions 兩個 Nuget 包。對於一個框架的源碼進行解讀,我們可以從我們常用的框架中的類或方法入手 ...
  • 最近在工作中遇到一個問題,就是我有多個線程會調用bitmap對象,運行的時候報錯,對象當前正在其他地方使用。第一反應肯定是加鎖啊,於是我就在每個用到bitmap的地方都加了鎖,但是運行之後依然報這個錯 測試代碼如下 using System; using System.Drawing; using ...
  • 一:背景 1. 講故事 前段時間有位朋友微信找到我,說他的程式使用 hsl 庫之後,採集 plc 時記憶體溢出,讓我幫忙看一下怎麼回事,哈哈,貌似是分析之旅中的第二次和 hsl 打交道,既然找到我,那就上 windbg 說話吧。 二:WinDbg 分析 1. 為什麼會記憶體溢出 簡單觀察程式的提交記憶體之 ...
  • 在 IIS 上啟用 Websocket 在 Windows Server 2012 或更高版本上啟用對 WebSocket 協議的支持: 備註 使用 IIS Express 時無需執行這些步驟 通過“管理”菜單或“伺服器管理器”中的鏈接使用“添加角色和功能”嚮導。 選擇“基於角色或基於功能的安裝”。 ...
  • C#-垃圾回收機制(GC) 什麼是GC 官網中有這麼一句話: The garbage collector is a common language runtime component that controls the allocation and release of managed memory ...
  • 呆了2個大屏行業的公司,對大屏幕有一些瞭解,所以整理下所瞭解的觸摸屏相關概念。方便自己以及進入這個行業的小伙伴們,能有個系統、快速的認知。 觸摸屏詳細的知識點,網上其實都有。整理資料過程中,我也瞭解了更多的觸摸屏知識,像聲波屏、光學屏之類的之前就沒接觸。下麵分不同的模塊,給大家介紹 交互觸摸屏類型 ...
  • 近段時間忙於各種項目和對【易排平臺】的優化,沒顧得上分享APS相關的小技巧,回頭看看小公眾號的關註人數早已達1500+,在此爭取時間寫一下這段時間在項目上及平臺優化過程中遇到的一些小技巧,以感謝諸位的關註。過去數月的解決的問題中,涉及最多的是規劃模型中,實現各種時間維度的功能,目前在平臺上也稍有成果 ...
  • 針對大量log日誌快速定位錯誤地方 動態查看日誌 tail -f catalina.ou 從頭打開日誌文件 cat catalina.ou 可以使用 >nanjiangtest.txt 輸出某個新日誌去查看 [[email protected] logs]# cat -n catalina.out |grep 7 ...
  • 前言 RocketMQ是阿裡巴巴旗下一款開源的MQ框架,經歷過雙十一考驗、Java編程語言實現,有非常好完整生態系統。RocketMQ作為一款純java、分散式、隊列模型的開源消息中間件,支持事務消息、順序消息、批量消息、定時消息、消息回溯等 本篇文章第一部分屬於一些核心概念和工作流程的講解;第二部 ...
  • 在java,c#類的成員修飾符包括,公有、私有、程式集可用的、受保護的。 對於python來說,只有兩個成員修飾符:公有成員,私有成員 成員修飾符是來修飾誰呢?當然是修飾成員了。那麼python類的成員包括什麼呢? python成員: 欄位,方法,屬性 每個類成員的修飾符有兩種: 公有成員:內部外部 ...