怎麼利用非同步設計提升系統性能?

来源:https://www.cnblogs.com/wing011203/archive/2023/03/12/17207554.html
-Advertisement-
Play Games

這篇文章主要描述非同步設計,非同步是一種程式設計的思想,使用非同步模式設計的程式可以顯著減少線程等待,從而在高吞吐量的場景中,極大提升系統的整體性能,降低請求時延。 ...


非同步是一種程式設計的思想,使用非同步模式設計的程式可以顯著減少線程等待,從而在高吞吐量的場景中,極大提升系統的整體性能,降低請求時延。

同步設計流程

我們假設要做一個轉賬的業務,即從賬戶A中轉賬100元到賬戶B中,它包含2步:

  1. 從A的賬戶中減少100元
  2. 給B的賬戶增加100元

我們可以設計2個Service:

  • Transfer服務,負責轉賬,介面是Transfer(A, B, 100)
  • Account服務,負責賬戶管理,介面是Add(A, -100)和Add(B, 100)

轉賬業務的偽代碼如下:

Transfer(accountFrom, accountTo, amount){
    Add(accountFrom, -1*amount)
    Add(accountTo, 1*amount)
    return OK
}

假設Add操作的平均響應時延是50ms,那麼我們的Transfer操作平均實驗大約是100ms。在實際運行過程中,每處理一次Transfer操作,需要耗時100ms,並且在100ms內需要獨占一個線程,即每個線程每秒最多可以處理10次Transfer操作。

假設我們在一個伺服器上同時打開的線程數量上限是10000,那麼這個伺服器每秒可以處理的請求上限是:10000*10 = 100000次。

當客戶請求數量超過上限時,請求就需要排隊,那麼Transfer操作的響應時延變成:排隊等待時延+處理時延(100ms),即在大量請求的場景中,我們的服務響應時延增加了。

但是,在這種情況下,伺服器的資源並沒有被消耗很多,例如CPU、記憶體、網卡等資源都很空閑,我們的100000個線程大部分時間在等待Add操作返回結果。

上面就是同步設計方式,在這種情況下,整個伺服器的所有線程大部分時間都沒有在工作,而是在等待。

非同步設計流程

對於同樣的業務場景,我們來看一下非同步方式下的偽代碼:

TransferAsync(accountFrom, accountTo, amount, OnComplete){
    AddAsync(accountFrom, -1*amount, OnDebit(accountTo, 1*amount, OnAllDone(OnComplete)))
}

OnDebit(amountTo, amount, OnAllDone(OnComplete)){
    AddAsync(accountTo, amount, OnAllDone(OnComplete))
}

OnAllDone(OnComplete){
    OnComplete()
}

這裡TransferAsync和之前的Transfer相比,增加了一個參數,這個參數是一個回調方法OnComplete()。

上面方法的語義:請幫我執行轉賬操作,當轉賬完成後,請調用OnComplete()方法,調用TransferAsync的線程不必等待轉賬完成就可以立即返回,當轉賬結束後,OnComplete()方法會被調用來執行後續的工作。

上面代碼中,我們定義了2個回調方法:

  1. OnDebit():扣減賬戶accountFrom完成後調用的回調方法
  2. OnAllDone():轉入賬戶accountTop完成後調用的回調方法

整個非同步操作的語義如下:

  1. 非同步從accountFrom的賬戶中減去相應的錢數,然後調用OnDebit方法
  2. 在OnDebit方法中,非同步把減去的錢數加到accountTop賬戶中,然後執行OnAllDone方法
  3. 在OnAllDone方法中,調用OnComplete方法

採用非同步方式後,整個流程的時序和同步實現是完全一樣的,區別在於線程模型由同步順序調用改為非同步調用和回調的機制。

由於流程的時序和同步方式相同,在低請求量的場景下,平均響應時延還是100ms,在超高請求量的場景下,非同步機制不需要線程等待執行結果,只需要個位數的線程,即可實現同步場景大量線程一樣的吞吐量。

在非同步模式下,由於沒有了線程數量上的限制,總體吞吐量上限會大大超過同步實現,並且在伺服器CPU、網路帶寬資源達到極限之前,響應時延不會隨著請求數量增加而顯著升高,幾乎可以一直保持100ms左右的響應時延。

非同步框架:CompletableFuture

Java語言中常用的非同步框架包括CompletableFuture和RxJava,我們主要來看CompletableFuture。

它是Java 8中新增的一個強大的非同步編程的類,包括了我們在開發非同步程式過程中需要的大部分功能。

針對上述的轉賬場景,我們來看一下如何使用CompletableFuture實現。

首先定義2個介面:


public interface AccountService {

    CompletableFuture<Void> add(int account, int amount);
}

public interface TransferService {

    CompletableFuture<Void> transfer(int fromAccount, int toAccount, int amount);
}

然後實現轉賬功能:


public class TransferServiceImpl implements TransferService {
    @Inject
    private  AccountService accountService; 

    @Override
    public CompletableFuture<Void> transfer(int fromAccount, int toAccount, int amount) {
      return accountService.add(fromAccount, -1 * amount)
        .thenCompose(v -> accountService.add(toAccount, amount));    
    }
}

客戶端調用TransferService時,可以使用同步方式,也可以使用非同步方式:


public class Client {
    @Inject
    private TransferService transferService; 
    private final static int A = 1000;
    private final static int B = 1001;

    public void syncInvoke() throws ExecutionException, InterruptedException {
        // 同步調用
        transferService.transfer(A, B, 100).get();
        System.out.println("轉賬完成!");
    }

    public void asyncInvoke() {
        // 非同步調用
        transferService.transfer(A, B, 100)
            .thenRun(() -> System.out.println("轉賬完成!"));
    }
}

非同步設計的思想:當我們要執行一項比較耗時的操作時,不去等待操作結束,而是給這個操作一個命令:“當操作完成後,接下來去執行什麼”。

使用非同步編程帶來的好處是可以減少或者避免線程等待,只用很少的線程就可以達到超高的吞吐能力。

使用非同步編程帶來的問題是複雜度增加,代碼可讀性和可維護性會下降。

    作者:李潘     出處:http://wing011203.cnblogs.com/     本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前言 我08年畢業,大學跟著老師培訓班學習的C#,那時(2003-2010)它很是時髦,畢業後也就從事了winform窗體應用程式開發。慢慢的web網站興起,就轉到asp.net開發,再到後來就上了另一艘大船(java),前端app混合開發。近三年從事web站點運維,從linux基礎+docker, ...
  • SQL實踐1 藉著學校的資料庫實驗,來對之前學習的SQL語言進行實踐和總結。 實驗環境: macOS 13.2 (22D49) mysql Ver 8.0.32 for macos13.0 on arm64 (Homebrew) DataGrip 2022.3.3 一. DataGrip連接本地My ...
  • 本文已經收錄到Github倉庫,該倉庫包含電腦基礎、Java基礎、多線程、JVM、資料庫、Redis、Spring、Mybatis、SpringMVC、SpringBoot、分散式、微服務、設計模式、架構、校招社招分享等核心知識點,歡迎star~ Github地址:https://github.c ...
  • Redis(REmote DIctionary Service)是一個開源的鍵值對資料庫伺服器。 Redis 更準確的描述是一個數據結構伺服器。Redis 的這種特殊性質讓它在開發人員中很受歡迎。 ...
  • 前言 今天我們來解密下init.ts中的代碼內容,並結合 vue 生命周期來分析下 vue 的初始化; GitHub github page 內容 init.ts import config from '../config' import { initProxy } from './proxy' i ...
  • 好家伙,本篇為《JS高級程式設計》第二五章“瀏覽器存儲”學習筆記 我們先來講個故事 一個“薅羊毛”的故事 (qq.com) 概括一下,就是 有個人通過網路平臺非法購買了大量“cookie”數據。 突破平臺封控,冒用他人新用戶身份,非法騙取新用戶優惠券。 拿著優惠券低價購入商品,隨後轉賣並從中賺取差價 ...
  • three.js、webgl、3D消防、智慧消防、三維消防、使用three.js(webgl)搭建智慧樓宇消防、3D園區、3D廠房、3D倉庫、設備檢測、數字孿生、物聯網3D、物業3D監控、物業基礎設施可視化運維、3d建築,3d消防,消防演習模擬,3d庫房,webGL,threejs,3d機房,bim... ...
  • 在前端開發中,策略模式是一種常用的設計模式,它可以讓我們在不改變對象本身的情況下,通過修改其內部的演算法實現不同的行為。策略模式常常被用於實現一些複雜的業務邏輯,特別是需要根據不同的條件進行處理的情況。 下麵是一個簡單的示例,演示瞭如何使用策略模式來實現一個計算器: // 定義一個策略對象 const ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...