怎麼利用非同步設計提升系統性能?

来源:https://www.cnblogs.com/wing011203/archive/2023/03/12/17207554.html
-Advertisement-
Play Games

這篇文章主要描述非同步設計,非同步是一種程式設計的思想,使用非同步模式設計的程式可以顯著減少線程等待,從而在高吞吐量的場景中,極大提升系統的整體性能,降低請求時延。 ...


非同步是一種程式設計的思想,使用非同步模式設計的程式可以顯著減少線程等待,從而在高吞吐量的場景中,極大提升系統的整體性能,降低請求時延。

同步設計流程

我們假設要做一個轉賬的業務,即從賬戶A中轉賬100元到賬戶B中,它包含2步:

  1. 從A的賬戶中減少100元
  2. 給B的賬戶增加100元

我們可以設計2個Service:

  • Transfer服務,負責轉賬,介面是Transfer(A, B, 100)
  • Account服務,負責賬戶管理,介面是Add(A, -100)和Add(B, 100)

轉賬業務的偽代碼如下:

Transfer(accountFrom, accountTo, amount){
    Add(accountFrom, -1*amount)
    Add(accountTo, 1*amount)
    return OK
}

假設Add操作的平均響應時延是50ms,那麼我們的Transfer操作平均實驗大約是100ms。在實際運行過程中,每處理一次Transfer操作,需要耗時100ms,並且在100ms內需要獨占一個線程,即每個線程每秒最多可以處理10次Transfer操作。

假設我們在一個伺服器上同時打開的線程數量上限是10000,那麼這個伺服器每秒可以處理的請求上限是:10000*10 = 100000次。

當客戶請求數量超過上限時,請求就需要排隊,那麼Transfer操作的響應時延變成:排隊等待時延+處理時延(100ms),即在大量請求的場景中,我們的服務響應時延增加了。

但是,在這種情況下,伺服器的資源並沒有被消耗很多,例如CPU、記憶體、網卡等資源都很空閑,我們的100000個線程大部分時間在等待Add操作返回結果。

上面就是同步設計方式,在這種情況下,整個伺服器的所有線程大部分時間都沒有在工作,而是在等待。

非同步設計流程

對於同樣的業務場景,我們來看一下非同步方式下的偽代碼:

TransferAsync(accountFrom, accountTo, amount, OnComplete){
    AddAsync(accountFrom, -1*amount, OnDebit(accountTo, 1*amount, OnAllDone(OnComplete)))
}

OnDebit(amountTo, amount, OnAllDone(OnComplete)){
    AddAsync(accountTo, amount, OnAllDone(OnComplete))
}

OnAllDone(OnComplete){
    OnComplete()
}

這裡TransferAsync和之前的Transfer相比,增加了一個參數,這個參數是一個回調方法OnComplete()。

上面方法的語義:請幫我執行轉賬操作,當轉賬完成後,請調用OnComplete()方法,調用TransferAsync的線程不必等待轉賬完成就可以立即返回,當轉賬結束後,OnComplete()方法會被調用來執行後續的工作。

上面代碼中,我們定義了2個回調方法:

  1. OnDebit():扣減賬戶accountFrom完成後調用的回調方法
  2. OnAllDone():轉入賬戶accountTop完成後調用的回調方法

整個非同步操作的語義如下:

  1. 非同步從accountFrom的賬戶中減去相應的錢數,然後調用OnDebit方法
  2. 在OnDebit方法中,非同步把減去的錢數加到accountTop賬戶中,然後執行OnAllDone方法
  3. 在OnAllDone方法中,調用OnComplete方法

採用非同步方式後,整個流程的時序和同步實現是完全一樣的,區別在於線程模型由同步順序調用改為非同步調用和回調的機制。

由於流程的時序和同步方式相同,在低請求量的場景下,平均響應時延還是100ms,在超高請求量的場景下,非同步機制不需要線程等待執行結果,只需要個位數的線程,即可實現同步場景大量線程一樣的吞吐量。

在非同步模式下,由於沒有了線程數量上的限制,總體吞吐量上限會大大超過同步實現,並且在伺服器CPU、網路帶寬資源達到極限之前,響應時延不會隨著請求數量增加而顯著升高,幾乎可以一直保持100ms左右的響應時延。

非同步框架:CompletableFuture

Java語言中常用的非同步框架包括CompletableFuture和RxJava,我們主要來看CompletableFuture。

它是Java 8中新增的一個強大的非同步編程的類,包括了我們在開發非同步程式過程中需要的大部分功能。

針對上述的轉賬場景,我們來看一下如何使用CompletableFuture實現。

首先定義2個介面:


public interface AccountService {

    CompletableFuture<Void> add(int account, int amount);
}

public interface TransferService {

    CompletableFuture<Void> transfer(int fromAccount, int toAccount, int amount);
}

然後實現轉賬功能:


public class TransferServiceImpl implements TransferService {
    @Inject
    private  AccountService accountService; 

    @Override
    public CompletableFuture<Void> transfer(int fromAccount, int toAccount, int amount) {
      return accountService.add(fromAccount, -1 * amount)
        .thenCompose(v -> accountService.add(toAccount, amount));    
    }
}

客戶端調用TransferService時,可以使用同步方式,也可以使用非同步方式:


public class Client {
    @Inject
    private TransferService transferService; 
    private final static int A = 1000;
    private final static int B = 1001;

    public void syncInvoke() throws ExecutionException, InterruptedException {
        // 同步調用
        transferService.transfer(A, B, 100).get();
        System.out.println("轉賬完成!");
    }

    public void asyncInvoke() {
        // 非同步調用
        transferService.transfer(A, B, 100)
            .thenRun(() -> System.out.println("轉賬完成!"));
    }
}

非同步設計的思想:當我們要執行一項比較耗時的操作時,不去等待操作結束,而是給這個操作一個命令:“當操作完成後,接下來去執行什麼”。

使用非同步編程帶來的好處是可以減少或者避免線程等待,只用很少的線程就可以達到超高的吞吐能力。

使用非同步編程帶來的問題是複雜度增加,代碼可讀性和可維護性會下降。

    作者:李潘     出處:http://wing011203.cnblogs.com/     本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前言 我08年畢業,大學跟著老師培訓班學習的C#,那時(2003-2010)它很是時髦,畢業後也就從事了winform窗體應用程式開發。慢慢的web網站興起,就轉到asp.net開發,再到後來就上了另一艘大船(java),前端app混合開發。近三年從事web站點運維,從linux基礎+docker, ...
  • SQL實踐1 藉著學校的資料庫實驗,來對之前學習的SQL語言進行實踐和總結。 實驗環境: macOS 13.2 (22D49) mysql Ver 8.0.32 for macos13.0 on arm64 (Homebrew) DataGrip 2022.3.3 一. DataGrip連接本地My ...
  • 本文已經收錄到Github倉庫,該倉庫包含電腦基礎、Java基礎、多線程、JVM、資料庫、Redis、Spring、Mybatis、SpringMVC、SpringBoot、分散式、微服務、設計模式、架構、校招社招分享等核心知識點,歡迎star~ Github地址:https://github.c ...
  • Redis(REmote DIctionary Service)是一個開源的鍵值對資料庫伺服器。 Redis 更準確的描述是一個數據結構伺服器。Redis 的這種特殊性質讓它在開發人員中很受歡迎。 ...
  • 前言 今天我們來解密下init.ts中的代碼內容,並結合 vue 生命周期來分析下 vue 的初始化; GitHub github page 內容 init.ts import config from '../config' import { initProxy } from './proxy' i ...
  • 好家伙,本篇為《JS高級程式設計》第二五章“瀏覽器存儲”學習筆記 我們先來講個故事 一個“薅羊毛”的故事 (qq.com) 概括一下,就是 有個人通過網路平臺非法購買了大量“cookie”數據。 突破平臺封控,冒用他人新用戶身份,非法騙取新用戶優惠券。 拿著優惠券低價購入商品,隨後轉賣並從中賺取差價 ...
  • three.js、webgl、3D消防、智慧消防、三維消防、使用three.js(webgl)搭建智慧樓宇消防、3D園區、3D廠房、3D倉庫、設備檢測、數字孿生、物聯網3D、物業3D監控、物業基礎設施可視化運維、3d建築,3d消防,消防演習模擬,3d庫房,webGL,threejs,3d機房,bim... ...
  • 在前端開發中,策略模式是一種常用的設計模式,它可以讓我們在不改變對象本身的情況下,通過修改其內部的演算法實現不同的行為。策略模式常常被用於實現一些複雜的業務邏輯,特別是需要根據不同的條件進行處理的情況。 下麵是一個簡單的示例,演示瞭如何使用策略模式來實現一個計算器: // 定義一個策略對象 const ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...