複雜任務中,流程的解耦設計

来源:https://www.cnblogs.com/cicada-smile/archive/2022/05/08/16246368.html
-Advertisement-
Play Games

在系統開發的過程中,必然存在耗時極高的動作,是基於請求響應模式無法解決的問題,通常會採用解耦的思維,並基於非同步或者事件驅動的方式去調度整個流程的完整執行。 ...


做事不能急,得一步非同步的來;

一、業務場景

在系統開發的過程中,必然存在耗時極高的動作,是基於請求響應模式無法解決的問題,通常會採用解耦的思維,並基於非同步或者事件驅動的方式去調度整個流程的完整執行;

文件任務:在系統解析大文件數據時,在獲取任務之後,會非同步處理後續文件讀寫流程;

中間表:執行複雜場景的數據分析時,收集完待分析的對象之後,會併發執行各個維度的採集動作,並依次將數據寫入臨時的中間表中,方便數據查詢動作;

在上述場景中,基於單次請求響應無法執行整個過程,必須對流程分段分步和非同步推進,在流程中根據場景去判斷,是非同步有序驅動,還是非同步併發處理,並基於各個節點的執行狀態判斷動作是否成功。

二、任務管理

複雜任務的執行周期相對偏長,要確保穩定的執行則需要對任務做精細的設計和管理,通常會基於如下幾個因素去描述任務:

  • 場景:定義任務的主題場景,便於將多種任務做統一管理和調度,例如:文件、數據、報表等;
  • 計劃:對任務做好步驟的拆分,並制定和推進相應的執行計劃,例如:有序調度、併發執行等;
  • 狀態:針對任務和節點的執行計劃,都要提供細節的狀態定義,例如:開始/結束,進行中/已完成,成功/失敗等;

設計合理的任務結構,以便更高效的管理流程,根據主題場景做任務分類,添加相應的執行計劃,根據狀態跟蹤任務執行過程,並對失敗動作進行捕捉和重試;

三、設計思路

1、同步請求響應

服務之間的通信模式一般分為:同步和非同步兩種;同步是指在請求端發出動作之後,會一直等待響應端完成,或者響應超時導致熔斷,即在一次請求調用中耦合所有的處理流程;

服務中大部分的請求都是同步響應模式,可以提高系統的響應速度;但是在分散式中,首先要控制超時熔斷的時間,避免在流量高峰期請求堆積,拖垮整個服務;另外對於被大量調用的公共服務,要提高併發的支撐能力,降低對請求鏈路的性能影響。

2、非同步解耦模式

非同步模式的最大優點就是實現請求和響應的完全解耦,任務只需要觸發一次開始動作,後續的流程就會逐步的推進直到結束;各個服務節點處理邏輯不會受到整個請求鏈路的耗時限制;

實現非同步有多種方式,例如:請求回調、發佈訂閱、Broker代理等;在之前非同步章節中有詳細描述,這裡不再贅述;非同步消除了服務節點之間的依賴關係,但是也同樣提高了流程的複雜性;

3、事件驅動設計

事件驅動是一個抽象的概念,即通過事件的方式實現多個服務間的協同,驅動整個流程的處理邏輯;在業務層面是一種設計思想,在技術層面通常採用發佈訂閱的方式,同樣也可以消除服務間的強依賴關係;

事件和非同步在模式上很類似,事件驅動在設計上更加精細,例如在訂單場景中:將訂單的狀態變化作為一個事件,服務間通過消息傳遞的方式,依次處理庫存服務、物流服務等;由於事件攜帶了一定的業務信息和狀態,流程解耦更加徹底的同時複雜度也會更高。

四、實踐總結

1、結構設計

在結構設計中圍繞任務、節點、數據三個核心要素,以確保對任務的執行過程有完整的跟蹤和管理,要實現對任務的節點及相關的操作,具備執行重試或者直接取消撤回的控制;

狀態管理是一項很複雜的工作,要衡量任務中各個狀態標識是否合理,就要實時監控狀態的變化,並且基於各種極端情況去驗證流程,例如:重試設計、任務取消、任務暫停。

2、高併發管理

任務型的場景加上複雜的管理流程,執行時間自然也很長,如果場景中涉及到大文件的解析、或者數據調度,自然會引入任務分割與併發執行的機制;

比較常用的思路:根據任務調度的集群數,對數據核心編號進行哈希計算,可以採用取模和分段兩種演算法,然後基於多線程的方式併發處理各自服務內的分管任務。

3、管理模型

不管是觀察者模式,或者發佈訂閱模型,又或者說事件驅動設計,都可以理解為生產/消費的關係模型,圍繞生產、存儲、消費三個節點做管理;

  • 生產端:負責創建具體的消息主體,在匯流排模式中,通常將消息進行入庫存儲,然後再執行隊列推送,並跟蹤該過程的狀態變化,保證庫和隊列的一致性;
  • 消息體:描述動作的發佈方和消費方,關鍵的狀態信息變化,唯一標識和創建時間及版本,其餘則根據場景需要定義即可;
  • 消費端:在消費時要關註的核心問題即失敗重試,要避免重試機制引起數據不一致的問題,可以對消費進行加鎖或者消息狀態校驗,以實現冪等的效果;
  • 存儲端:通常採用資料庫和消息中間件雙存儲的模式,並且需要保證二者動作的同時成功或者失敗,順序為先入庫再執行隊列推送;

整個模型在設計思路上比較合理,但是架構的複雜性也變的很高,比如數據一致性問題、狀態機制、事務、冪等性、流程中斷等;整個鏈路需要詳細的追蹤記錄並且可視化管理,開發補償動作的介面,用來及時解決可能出現的突發問題。

4、組件案例

Spring框架本身就極具複雜度,這裡單看事件模型的設計,包含三個核心角色:事件、發佈、監聽;與觀察者設計模式在理念上相同;

事件:ApplicationEvent基礎抽象類繼承自JDK中EventObject類,具體事件要繼承該類;source事件源,timestamp發生的系統時間;

public class OrderState {
    // 基礎要素
    private Integer eventId ;
    private String version ;
    private Long createTime ;

    // 消息定位
    private String source ;
    private String target ;

    // 狀態變化
    private Integer orderId ;
    private Integer stateFrom ;
    private Integer stateTo ;
}
public class OrderStateEvent extends ApplicationEvent {
    public OrderStateEvent (OrderState orderState){
        super(orderState);
    }
}

發佈者:Spring定義的頂級介面ApplicationEventPublisher,提供事件發佈的能力;

@Service
public class EventService implements ApplicationContextAware, ApplicationEventPublisherAware {
    private ApplicationEventPublisher applicationEventPublisher;
    
    public void changeState (Integer orderId,Integer stateFrom,Integer stateTo){
        OrderState orderState = new OrderState() ;
        OrderStateEvent orderStateEvent = new OrderStateEvent(orderState) ;
        logger.info(Thread.currentThread().getName()+";"+orderStateEvent);
        applicationEventPublisher.publishEvent(orderStateEvent);
    }
}

監聽者:實現JDK中頂級介面EventListener,Spring擴展了多種事件監聽器,以實現各種場景的需求,例如:有序無序、同步非同步等;

@Component
public class OrderStateListener implements ApplicationListener<OrderStateEvent> {
    private static final Logger logger = LoggerFactory.getLogger(OrderStateListener.class) ;

    @Async
    @Override
    public void onApplicationEvent(OrderStateEvent orderStateEvent) {
        logger.info(Thread.currentThread().getName()+";"+orderStateEvent);
    }
}

五、參考源碼

應用倉庫:
https://gitee.com/cicadasmile/middle-ware-parent

編程文檔:
https://gitee.com/cicadasmile/butte-java-note

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 字元串是用引號包裹的,表示語言文字。 用雙引號包裹的都是字元串 註意:變數不能包裹在雙引號里 輸出 布爾類型 true和false 註意都是小寫 ...
  • 認識js 在谷歌瀏覽器的控制臺中右鍵單擊空白處,選擇檢查可以打開控制台 查看console.log輸出的內容。 JS的註釋 是”//”或者”/* */”,前者是行註釋,後者是塊註釋 1變數 js的變數必須申明在用,聲明後賦值,變數才可使用,使用過程中可以改變類型。 變數的命名規則: 變數名只能由字母 ...
  • 幾天的內容不是很多,因為我們腳手架的學習告一段落了,也是為了跟明天開始的內容有一個區分。 明天將會有一個非常重要的內容來了,各位,vue中的ajax他來了,這個絕對是重量級,有點興奮! 十一.TODOList編輯 新增一個編輯功能,要完成的邏輯就是,當我們一點擊編輯按鈕,對象會新增一個屬性edit為 ...
  • # JavaScript經典案例練習 P1:支付10秒倒計時 效果: 功能: 點擊立即支付彈出確認款 確認付款後跳轉到支付成功頁面並開始計時 計時結束或者點擊立即返回按鈕返迴首頁 知識點: window.confirm() 用於顯示一個帶有指定消息和確認及取消按鈕的對話框,如果訪問者點擊‘確認’, ...
  • ${}字元串可以用於字元串拼接,一般用於模糊查詢中(因為有sql註入的風險,很少用) ...
  • 在開發過程中,不知道有沒有這樣的經歷,項目實際讀取的配置信息有時候總是與預期不符,今天就來研究下 SpringBoot 讀取配置文件順序。 一、SpringBoot 配置文件載入優先順序 SpringBoot官方文檔說明瞭載入的順序如下,越靠前優先順序越高。 Spring Boot uses a ver ...
  • 前言 嗨嘍!大家好呀 第三方模塊: requests >>> pip install requests 模塊安裝問題: 如果安裝python第三方模塊: win + R 輸入 cmd 點擊確定, 輸入安裝命令 pip install 模塊名 (pip install requests) 回車 在py ...
  • 一、Matplotlib 博文來源:https://www.runoob.com/matplotlib/matplotlib-tutorial.html Matplotlib 是 Python 的繪圖庫,它能讓使用者很輕鬆地將數據圖形化,並且提供多樣化的輸出格式。 Matplotlib 可以用來繪製 ...
一周排行
    -Advertisement-
    Play Games
  • 一、openKylin簡介 openKylin(開放麒麟) 社區是在開源、自願、平等和協作的基礎上,由基礎軟硬體企業、非營利性組織、社團組織、高等院校、科研機構和個人開發者共同創立的一個開源社區,致力於通過開源、開放的社區合作,構建桌面操作系統開源社區,推動Linux開源技術及其軟硬體生態繁榮發展。 ...
  • 簡介 Flurl是一個用於構建基於HTTP請求的C#代碼的庫。它的主要目的是簡化和優雅地處理網路請求(只用很少的代碼完成請求)。Flurl提供了一種簡單的方法來構建GET、POST、PUT等類型的請求,以及處理響應和異常。它還提供了一些高級功能,如鏈式調用、緩存請求結果、自動重定向等。本文將介紹Fl ...
  • 一:背景 1. 講故事 最近也挺奇怪,看到了兩起 CPU 爆高的案例,且誘因也是一致的,覺得有一些代表性,合併分享出來幫助大家來避坑吧,閑話不多說,直接上 windbg 分析。 二:WinDbg 分析 1. CPU 真的爆高嗎 這裡要提醒一下,別人說爆高不一定真的就是爆高,我們一定要拿數據說話,可以 ...
  • 剛開始寫文章,封裝Base基類的時候,添加了trycatch異常塊,不過當時沒有去記錄日誌,直接return了。有小伙伴勸我不要吃了Exception 其實沒有啦,項目剛開始,我覺得先做好整體結構比較好。像是蓋樓一樣。先把樓體建造出來,然後再一步一步的美化完善。 基礎的倉儲模式已經ok,Autofa ...
  • 框架目標 什麼是框架,框架能做到什麼? 把一個方向的技術研發做封裝,具備通用性,讓使用框架的開發者用起來很輕鬆。 屬性: 通用性 健壯性 穩定性 擴展性 高性能 組件化 跨平臺 從零開始-搭建框架 建立項目 主鍵查詢功能開發 綁定實體 一步一步的給大家推導: 一邊寫一邊測試 從零開始--搭建框架 1 ...
  • 大家好,我是沙漠盡頭的狼。 本方首發於Dotnet9,介紹使用dnSpy調試第三方.NET庫源碼,行文目錄: 安裝dnSpy 編寫示常式序 調試示常式序 調試.NET庫原生方法 總結 1. 安裝dnSpy dnSpy是一款功能強大的.NET程式反編譯工具,可以對.NET程式進行反編譯,代替庫文檔的功 ...
  • 在`Windows`操作系統中,每個進程的虛擬地址空間都被劃分為若幹記憶體塊,每個記憶體塊都具有一些屬性,如記憶體大小、保護模式、類型等。這些屬性可以通過`VirtualQueryEx`函數查詢得到。該函數可用於查詢進程虛擬地址空間中的記憶體信息的函數。它的作用類似於`Windows`操作系統中的`Task... ...
  • 背景介紹 1,最近有一個大數據量插入的操作入庫的業務場景,需要先做一些其他修改操作,然後在執行插入操作,由於插入數據可能會很多,用到多線程去拆分數據並行處理來提高響應時間,如果有一個線程執行失敗,則全部回滾。 2,在spring中可以使用@Transactional註解去控制事務,使出現異常時會進行 ...
  • 線程(thread)是操作系統能夠進行運算調度的最小單位。它被包含在進程之中,是進程中的實際 運作單位。一條線程指的是進程中一個單一順序的控制流,一個進程中可以併發多個線程,每條線 程並行執行不同的任務。 ...
  • 發現Java 21的StringBuilder和StringBuffer中多了repeat方法: /** * @throws IllegalArgumentException {@inheritDoc} * * @since 21 */ @Override public StringBuilder ...